[논문 리뷰] Analogical Reasoning for Visually Grounded Language Acquisition

Bo Wu, Haoyu Qin외 3명|arXiv (Cornell University)|2020. 07. 22.

Multimodal Machine Learning Applications참고 문헌 55인용 수 5

한 줄 요약

이 논문은 인간의 유추적 사고를 모방하여 새로운 동사-명사 조합으로 일반화할 수 있도록 하는 다중모odal 트랜스포머 모델인 Analogical Reasoning Transformer Networks (ARTNet)를 제안한다. 유사한 훈련 예제를 검색하고, 학습된 산술 연산을 적용하여 새로운 조합을 추론함으로써, ARTNet는 지침 영상 이해 분야에서 조합 일반화 성능에서 최신 기술을 크게 뛰어넘는 성과를 달성한다.

ABSTRACT

Children acquire language subconsciously by observing the surrounding world and listening to descriptions. They can discover the meaning of words even without explicit language knowledge, and generalize to novel compositions effortlessly. In this paper, we bring this ability to AI, by studying the task of Visually grounded Language Acquisition (VLA). We propose a multimodal transformer model augmented with a novel mechanism for analogical reasoning, which approximates novel compositions by learning semantic mapping and reasoning operations from previously seen compositions. Our proposed method, Analogical Reasoning Transformer Networks (ARTNet), is trained on raw multimedia data (video frames and transcripts), and after observing a set of compositions such as "washing apple" or "cutting carrot", it can generalize and recognize new compositions in new video frames, such as "washing carrot" or "cutting apple". To this end, ARTNet refers to relevant instances in the training data and uses their visual features and captions to establish analogies with the query image. Then it chooses the suitable verb and noun to create a new composition that describes the new image best. Extensive experiments on an instructional video dataset demonstrate that the proposed method achieves significantly better generalization capability and recognition accuracy compared to state-of-the-art transformer models.

연구 동기 및 목표

• 명시적 언어 감독 없이도 조합 일반화 문제를 해결하기 위한 도전 과제를 해결한다.
• AI 모델이 '와ashing apple'(세척 사과)와 같은 일부 관련 조합(예: '와ashing apple', 'cutting carrot')만 관찰한 후에도 새로운 동사-명사 조합(예: '와ishing carrot')을 이해하고 생성할 수 있도록 한다.
• 보이는 조합과 보지 못한 조합 사이의 범주적 갭을 인간의 유추적 사고 과정을 모방하여 메운다.
• 자기지도 학습 기반의 추론 강화 프레임워크를 개발하여 데이터 부족 및 비정형 환경에서도 강건하게 일반화할 수 있도록 한다.

제안 방법

• ARTNet는 비디오와 텍스트 입력을 공유된 의미 공간에 매핑하기 위해 다중모달 트랜스포머 기반(예: ViLBERT 유사)을 사용한다.
• 유사한 훈련 샘플을 질의 이미지의 시각적 및 텍스트적 특징에 기반해 검색하는 Analogical Memory Module(AMM)를 도입한다.
• 유추적 사고 네트워크(ARN)는 검색된 샘플들 중 관련 유추 쌍을 선택하고, 예를 들어 '와ishing' + 'carrot' - 'apple'과 같은 산술 연산을 학습하여, 유추를 나타내는 컨텍스트 벡터를 생성한다.
• 조건부 조합 엔진(CCE)은 질의 표현과 유추 컨텍스트 벡터를 융합하여 마스크된 동사와 명사를 예측함으로써 문장을 완성한다.
• 모델는 마스크된 언어 모델링을 통해 훈련되며, 문장 내 동사와 명사를 마스크하고, 유추적 사고를 통해 재구성하도록 한다.
• 이 프레임워크는 자기지도 학습 기반이며, 추론 전용 감독이 필요로 하지 않으며, 원시 영상 및 대본 데이터로부터 학습된 유추 패턴에 의존한다.

실험 결과

연구 질문

• RQ1 훈련 중에 보지 못한 조합(예: '와ishing carrot')에 대해 비디오 기반 언어 습득 모델이 일반화할 수 있는가?
• RQ2 인간 인지에서 영감을 받은 유추적 사고는 다중모달 언어 습득에서 조합 일반화 능력을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 실제 지침 영상 데이터에서 제안된 방법이 표준 트랜스포머 모델보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 모델은 보지 못한 환경에서의 데이터 부족과 분포 이질성에 대해 얼마나 강건한가?

주요 결과

• ARTNet는 EPIC-Kitchens 데이터셋에서 최신 기술 트랜스포머 모델보다 유의미하게 높은 정확도로 새로운 조합을 예측하는 데 성공했다.
• 모델는 '와ishing apple'과 'cutting carrot'과 같은 관련 훈련 예제만 관찰한 후에도 '와ishing carrot'과 'cutting apple' 같은 조합을 정확히 유추하는 데 강력한 일반화 능력을 보였다.
• ARTNet는 데이터 부족 상황에서도 뛰어난 강건성을 보이며, 훈련 데이터가 제한된 경우에도 안정된 성능을 유지했다.
• 모델의 예측 결과는 강력한 기능성 특성을 보였으며, 의미적으로 의미 있고 맥락에 적절한 조합을 학습하고 있음을 시사했다.
• 제거 실험 결과, 유추적 사고 구성 요소(AMM, ARN, CCE)가 성능 향상에 필수적임을 확인했으며, 제거 시 정확도가 크게 떨어졌다.