[논문 리뷰] Contextualized Scene Imagination for Generative Commonsense Reasoning

Peifeng Wang, J. Zamora외 4명|arXiv (Cornell University)|2021. 12. 12.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 입력 개념들 간의 타당한 관계를 포착하는 맥락화된 시나리오 지식 그래프(SKG)를 먼저 상상한 다음, 그 SKG에 따라 자연어 서술을 생성함으로써 생성적 공통지식 추론을 향상시키는 Imagine-and-Verbalize(I&V) 프레임워크를 제안한다. 이 방법은 개념-문장 및 개념-스토리 생성 작업에서 zero-shot 및 few-shot 성능을 향상시키며, 인간 평가를 통해 SKG가 공통지식을 반영하고 생성된 텍스트가 그에 부합함을 확인한다.

ABSTRACT

Humans use natural language to compose common concepts from their environment into plausible, day-to-day scene descriptions. However, such generative commonsense reasoning (GCSR) skills are lacking in state-of-the-art text generation methods. Descriptive sentences about arbitrary concepts generated by neural text generation models (e.g., pre-trained text-to-text Transformers) are often grammatically fluent but may not correspond to human common sense, largely due to their lack of mechanisms to capture concept relations, to identify implicit concepts, and to perform generalizable reasoning about unseen concept compositions. In this paper, we propose an Imagine-and-Verbalize (I&V) method, which learns to imagine a relational scene knowledge graph (SKG) with relations between the input concepts, and leverage the SKG as a constraint when generating a plausible scene description. We collect and harmonize a set of knowledge resources from different domains and modalities, providing a rich auxiliary supervision signal for I&V. The experiments demonstrate the effectiveness of I&V in improving language models on both concept-to-sentence and concept-to-story generation tasks, while enabling the model to learn well from fewer task examples and generate SKGs that make common sense to human annotators.

연구 동기 및 목표

• 신경 텍스트 생성 모델에서 공통지식 추론의 부족으로 인해 문법적으로는 올바르지만 타당하지 않은 문장을 생성하는 문제를 해결하기 위해.
• 입력에 명시적으로 제공되지 않은 암묵적 개념과 개념 간 타당한 관계를 추론할 수 있도록 하기 위해.
• 생성적 공통지식 추론을 두 단계로 분해하기 위해: 시나리오 상상(SKG 구축) 및 언어화(자연어 생성).
• 다양하고 다중모달 지식 소스(예: 시각적 캡션, 스토리 데이터셋)를 활용하여 공통지식 지식을 학습하기 위한 간접적 지도를 제공하기 위해.
• 생성 이전에 명시적이고 구조화된 추론 단계를 도입하여 소수의 예제로도 일반화 능력과 모델의 해석 가능성 향상을 도모하기 위해.

제안 방법

• I&V 프레임워크는 두 모듈로 구성된다: 입력 개념과 맥락에서 맥락화된 시나리오 지식 그래프(SKG)를 구축하는 상상 모듈과, SKG에서 자연어를 생성하는 언어화 모듈.
• 상상 모듈은 다양한 소스에서 유래한 대규모 외부 SKG 컬렉션(시각적 캡션, 스토리 데이터셋, ConceptNet 포함)에서 미리 훈련되어 타당한 개념 간 관계를 학습한다.
• SKG는 노드가 개념(암묵적 개념 포함)을, 엣지가 'CapableOf', 'UsedFor', 'LocatedAt'과 같은 관계를 나타내는 관계 기반 그래프이다.
• 언어화 모듈은 최종 GCSR 데이터셋에서 미세조정되어 상상된 SKG에서 유창하고 의미적으로 일치하는 문장을 생성한다.
• 두 모듈 모두 사전 훈련된 텍스트-텍스트 트랜스포머(BART 등)를 사용하며, 상상 모듈은 다중 소스, 다중 모달 SKG를 활용해 간접적 지도를 제공한다.
• 구조화된 공통지식 인식 지도를 제공함으로써, 모델이 새로운 개념 조합에 대해 더 효과적으로 소수의 예제로 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 입력 개념들로부터 구조화된 관계 기반 시나리오 지식 그래프(SKG)를 먼저 상상함으로써 모델이 타당하고 공통지식 인식 서술을 생성할 수 있는가?
• RQ2 시각적 캡션과 스토리에서 유래한 다중 소스, 다중 모달 SKG를 통합하면 생성된 서술의 품질과 공통지식 일치도가 향상되는가?
• RQ3 상상 모듈이 소수의 훈련 예제로도 새로운 개념 조합에 대해 얼마나 잘 일반화하는가?
• RQ4 생성된 SKG가 인간의 공통지식을 얼마나 잘 반영하며, 최종 생성된 문장과 일치하는가?
• RQ5 입력에 포함되지 않지만 타당성에 필수적인 암묵적 개념(예: 'throw'에 대해 'person')을 모델이 식별하고 포함할 수 있는가?

주요 결과

• I&V 프레임워크는 개념-문장 및 개념-스토리 생성 작업에서 SotA 기준 모델에 비해 경쟁적 또는 더 우수한 성능을 달성한다.
• 시각적 캡션과 스토리 데이터셋에서 추출한 SKG가 가장 효과적인 지도를 제공하며, 생성 품질을 크게 향상시킨다.
• 모델은 더 적은 훈련 예제로도 더 빠른 학습을 보이며, 구조화된 상상 단계 덕분에 소수의 예제로도 일반화 능력 향상이 뚜렷하다.
• 인간 평가 결과 생성된 SKG는 완전하며(모든 필수 개념 포함) 공통지식을 따르며, 평가자 간 합의도가 보통(Fleiss Kappa: 0.21)임을 확인했다.
• 언어화 모듈은 항상 상상된 SKG에 부합하는 문장을 일관되게 생성하며, 생성 과정이 상상 모듈의 지시를 따름을 확인한다.
• 더 큰 언어 모델 기반의 상상 모듈은 공통지식 지식을 인코딩하고 추론하는 데 더 높은 능력을 보였다.