[논문 리뷰] Do Neural Language Representations Learn Physical Commonsense?

Maxwell Forbes, Ari Holtzman외 1명|arXiv (Cornell University)|2019. 08. 08.

Topic Modeling참고 문헌 21인용 수 10

한 줄 요약

이 논문은 BERT와 같은 최신 신경망 언어 모델이 텍스트적 및 시각적 맥락으로부터 물리적 공통지식 추론을 학습하는지 조사한다. 성능은 물리적 성질과 기능 예측에서 매우 우수하지만, 성질과 기능 간의 논리적 관계에 대한 추론에는 실패하여, 모델이 원인-결과적 물리적 이해보다 표면적 연관성에 의존하고 있음을 시사한다.

ABSTRACT

Humans understand language based on the rich background knowledge about how the physical world works, which in turn allows us to reason about the physical world through language. In addition to the properties of objects (e.g., boats require fuel) and their affordances, i.e., the actions that are applicable to them (e.g., boats can be driven), we can also reason about if-then inferences between what properties of objects imply the kind of actions that are applicable to them (e.g., that if we can drive something then it likely requires fuel). In this paper, we investigate the extent to which state-of-the-art neural language representations, trained on a vast amount of natural language text, demonstrate physical commonsense reasoning. While recent advancements of neural language models have demonstrated strong performance on various types of natural language inference tasks, our study based on a dataset of over 200k newly collected annotations suggests that neural language representations still only learn associations that are explicitly written down.

연구 동기 및 목표

• 신경망 언어 표현이 물리적 공통지식, 특히 물체 성질과 그 기능에 대한 추론을 학습하는지 평가하기 위해.
• 언어 모델이 물체 성질과 그에 적용 가능한 동작 간의 인과적 또는 논리적 관계를 추론할 수 있는지 조사하기 위해.
• 물리적 공통지식 추론을 평가하기 위한 기준으로 사용하기 위해, 물체 성질, 기능 및 그 상호관계를 포함한 두 가지 새로운 데이터셋—추상적 및 실황 기반—을 제작하고 공개하기 위해.
• BERT와 ELMo와 같은 현대적 컨텍스트 기반 모델이 표면적 통계적 연관성 이상의 물리적 공통지식 추론 능력을 갖추고 있는지 평가하기 위해.

제안 방법

• McRate 데이터셋의 개선된 버전을 기반으로 하여, 밀도 높은 레이블링과 더불어 임의의 거짓 음성 반응을 줄인 20만 건 이상의 물체 성질 애너테이션을 포함한 새로운 추상적 데이터셋을 구축하였다.
• MS COCO 이미지를 사용하여 실황 기반 데이터셋을 제작하였으며, 애너테이터들이 특정 물체 인스턴스에 대해 성질과 기능을 레이블링하여 모호한 '알 수 없다' 응답을 제거하였다.
• 동작 기반 인터페이스를 통해 기능 애너테이션을 수집하였으며, 각 물체당 상위 3개의 동작을 선택하고, 선택되지 않은 동작들로부터 부정적 샘플을 생성하였다.
• 아마존 Mechanical Turk를 사용하여 품질 제어를 위해 'X가 영어어휘에 존재하는가?'와 같은 가짜 성질을 활용하여 무작위 애너테이터를 걸러내었다.
• 모델을 고정된 기반 모델 대비 엔드 투 엔드로 BERT를 미세조정하여 성능을 향상시켰다.
• 세 가지 과제에서 모델 성능을 평가하였다: 물체-성질(O↔P), 물체-기능(O↔A), 기능-성질(A↔P) 예측.

실험 결과

연구 질문

• RQ1 신경망 언어 모델이 물체 성질에서 기능을 유추할 수 있는 정도는 어떠한가(A←P), 예를 들어, 배가 운전 가능하므로 연료가 필요하다는 것을 유추할 수 있는가?
• RQ2 모델이 기능에서 성질을 유추할 수 있는가(A→P), 예를 들어, 전기를 필요로 하는 물체는 반드시 플러그에 꽂혀야 한다는 것을 인식할 수 있는가?
• RQ3 모델은 성질과 기능 간의 논리적 또는 인과적 연결을 학습하는가, 아니면 단지 표면적 공존 관계를 암기하는가?
• RQ4 컨텍스트 기반 모델인 BERT는 고정 임베딩 모델인 GloVe에 비해 물리적 공통지식 지식을 더 잘 포착하는가?
• RQ5 이미지 기반의 시각적 지도가 순수 텍스트 입력에 비해 모델의 물리적 공통지식 추론 능력을 향상시키는가?

주요 결과

• BERT 및 기타 신경망 언어 모델은 맥락으로부터 물체 성질과 기능을 예측하는 데 있어 매우 뛰어난 성능를 보이며, 이는 표면적 연관성을 상당 부분 학습하고 있음을 시사한다.
• O↔P 및 O↔A 과제에서 높은 정확도를 기록했음에도 불구하고, A↔P 추론 과제에서는 성능이 열악하여 성질과 기능 간의 논리적 또는 인과적 관계를 학습하지 못하고 있음을 시사한다.
• 성능가장 뛰어난 모델(미세조정된 BERT)조차도 A↔P 과제에서 인간 수준의 추론 능력에 크게 뒤처져 있으며, 인간 기준에 비해 훨씬 낮은 성능를 보였다.
• 실제 이미지에 기반한 실황 데이터셋은 애너테이션 품질을 향상시키고, 특히 기능 예측에 있어 더 신뢰할 수 있는 평가를 가능하게 하였다.
• 데이터 수집 과정에서 가짜 성질의 사용이 저질러진 애너테이터를 효과적으로 걸러내어 데이터셋의 신뢰성을 향상시켰다.
• 엔드 투 엔드 미세조정을 거친 후에도 BERT는 패턴 매칭을 넘어서 물리적 공통지식 추론을 학습하지 못하며, 현재 자기지도 학습 기반 언어 표현 학습의 근본적 한계를 보여준다.