[논문 리뷰] A Simple Machine Learning Method for Commonsense Reasoning? A Short Commentary on Trinh & Le (2018).

Walid S. Saba|arXiv (Cornell University)|2018. 10. 01.

Natural Language Processing Techniques참고 문헌 3인용 수 6

한 줄 요약

이 논평은 Trinh & Le(2018)의 공감 추론을 위한 데이터 기반 방법을 비판한다. 이 방법은 문장 완성의 확률 순위를 이용해 대명사를 해소한다. 그러나 이 방법은 기능어 민감성 처리 불가, 어휘 변형으로 인한 조합 폭발, 그리고 가장 심각하게는 암묵적으로 가정된 배경 지식을 모델링할 수 없음으로써 본질적으로 진정한 언어 이해에 부적합하다고 주장한다.

ABSTRACT

This is a short Commentary on Trinh & Le (2018) ("A Simple Method for Commonsense Reasoning") that outlines three serious flaws in the cited paper and discusses why data-driven approaches cannot be considered as serious models for the commonsense reasoning needed in natural language understanding in general, and in reference resolution, in particular.

연구 동기 및 목표

• Trinh & Le의 방법이 NLU 분야에서 공감 추론을 위한 실현 가능하고 단순한 해결책을 제공한다는 주장에 도전하기 위해.
• 데이터 기반 접근이 참조 해소에 필수적인 암묵적 배경 지식을 모델링할 수 없다는 것을 입증하기 위해.
• 훈련 데이터에 명시적으로 언급되지 않은 참조 대상이 있을 경우, 대규모 어휘 자료에서의 통계적 상관관계에 의존하는 것이 실패한다는 것을 보여주기 위해.
• 의미를 변화시키는 기능어의 치환(예: 'because' vs. 'although', 'is' vs. 'isn't')가 모델에서 구분되지 않는 동일한 확률을 낳으며, 이는 모델의 추론 능력을 약화시킨다는 것을 보여주기 위해.
• 진정한 세계 지식이 필요한 핵심 NLU 작업에 데이터 기반 방법을 과도하게 확장하는 것에 대한 경고를 제기하기 위해.

제안 방법

• 대명사 'it'을 후보 항목(예: 'the trophy' 또는 'the suitcase')으로 대체하고, 대규모 어휘 자료에서 생성된 문장의 가능성을 계산하는 확률 기반 방법을 제안한다.
• 두 가지 점수 전략을 사용한다: '전체'(수정된 전체 문장의 확률)와 '부분'(예: 'is too big'과 같은 서술어의 조건부 확률, 항목 맥락에 기반).
• 문장 변형의 확률을 추정하기 위해 사전 학습된 언어 모델(LM-1-Billion, CommonCrawl, SQuAD)을 활용한다.
• '부분' 점수 전략을 선호하며, 이는 항목과 문장의 시작 부분에 조건을 두어 관련 맥락을 더 잘 분리한다고 주장한다.
• 기호 지식이나 수작업으로 설계된 특징 없이 유일하게 통계적 공출현 빈도에 의존한다.
• 가장 확률이 높은 문장 완성 결과를 정답 참조 대상으로 간주하며, 높은 확률이 더 나은 공감 추론 일치를 의미한다고 가정한다.

실험 결과

연구 질문

• RQ1 어휘 빈도 기반 순수 데이터 기반 방법이 윈골드 스키마 스타일 문장에서 대명사를 신뢰성 있게 해소할 수 있는가?
• RQ2 이 방법은 'because'와 'although', 또는 'is'와 'isn't'와 같은 기능어의 의미적 차이를 반영하는가?
• RQ3 통계 모델이 텍스트에 명시적으로 언급되지 않았지만 공유된 세계 지식에 의해 암시되는 참조 대상을 포착할 수 있는가?
• RQ4 이 방법은 주어진 문장 구조의 모든 어휘적 및 문법적 변형에 대해 확장 가능한가?
• RQ5 훈련 데이터에 존재하지 않지만 암묵적으로 가정되는 참조 대상이 있는 경우, 오직 데이터에 기반한 모델이 일반화할 수 있는가?

주요 결과

• 모델이 보고한 70%의 정확도는 오해의 소지가 있다. 이는 각기 다른 문장 변형의 기하급수적 수를 고려하지 않았기 때문이다.
• 기능어인 'because', 'although', 'is', 'isn't'는 참조 대상 선호도를 변화시키지만, 거의 동일한 확률 점수를 낳으며, 이는 모델의 공감 추론 능력에 신뢰성을 떨어뜨린다.
• 정답 참조 대상이 텍스트에 전혀 존재하지 않을 경우 모델은 실패한다. 예를 들어 문장 (3)에서 'guitar'는 암묵적으로 이해되지만 언급되지 않아 확률이 정의되지 않는다.
• 유사한 단어 임베딩가 존재하더라도, 'trophy'와 'winner'와 같은 의미적으로 유사한 단어들 사이의 일반화가 불가능하다. 이는 유형 수준의 의미적 구조가 부족하기 때문이다.
• 데이터 기반 모델은 '누락된 텍스트'(암묵적 배경 지식)를 모델링할 수 없으며, 이는 언어 이해를 위한 필수 조건이므로 진정한 공감 추론에 본질적으로 부적합하다.
• 이 방법은 통계적 공출현 빈도를 넘어서는 추론이 불가능하므로, 인간 수준의 언어 이해, 특히 참조 해석 분야로 향한 실현 가능한 길이 아니며, 핵심적으로 부적절하다.