[논문 리뷰] Commonsense Reasoning for Natural Language Understanding: A Survey of Benchmarks, Resources, and Approaches

Shane Storks, Qiaozi Gao외 1명|arXiv (Cornell University)|2019. 04. 02.

Topic Modeling인용 수 46

한 줄 요약

이 종합 검토는 자연어 처리(NLP)에서 공통지식 추론을 위한 벤치마크, 지식 자원, 학습/추론 접근법에 대한 종합적인 개요를 제공한다. 기존 연구를 통합하여 최신 기술 수준을 명확히 하고, 한계를 밝히며, 기계가 인간과 유사한 추론 방식을 통해 자연어를 이해할 수 있도록 하는 향후 과제를 제시한다.

ABSTRACT

Commonsense knowledge and commonsense reasoning are some of the main bottlenecks in machine intelligence. In the NLP community, many benchmark datasets and tasks have been created to address commonsense reasoning for language understanding. These tasks are designed to assess machines' ability to acquire and learn commonsense knowledge in order to reason and understand natural language text. As these tasks become instrumental and a driving force for commonsense research, this paper aims to provide an overview of existing tasks and benchmarks, knowledge resources, and learning and inference approaches toward commonsense reasoning for natural language understanding. Through this, our goal is to support a better understanding of the state of the art, its limitations, and future challenges.

연구 동기 및 목표

• 자연어 이해에서 공통지식 추론을 평가하기 위해 설계된 기존 벤치마크 및 데이터셋을 종합하기 위해.
• NLP 시스템에서 공통지식 추론을 지원하는 데 사용 가능한 지식 자원을 분석하기 위해.
• 공통지식 지식을 활용해 기계의 추론 능력을 향상시키기 위해 사용되는 학습 및 추론 방법을 검토하기 위해.
• 현재 접근법의 격차와 한계를 특정하여 향후 연구 방향을 안내하기 위해.

제안 방법

• NLP에서 공통지식 추론에 초점을 맞춘 기존 벤치마크 데이터셋에 대한 체계적 검토 및 분류.
• 공통지식 추론의 기초가 되는 지식 자원, 예를 들어 ConceptNet, 오픈 정보 추출 도구, 지식 그래프 등의 분석.
• 공통지식 추론을 위한 사전학습, 미세조정, 지식 증강 신경망 등의 학습 접근법에 대한 종합 검토.
• 기호적 방법과 신경망 방법을 통합하여 자연어 기반 추론 능력을 향상시키는 추론 기법의 검토.
• 벤치마크 간 작업 설계 패턴을 평가하여 공통적인 과제와 평가 기준을 파악하기 위해.
• 현재 연구 방향에서의 추세, 한계점, 미해결 과제를 통합 분석하기 위해.

실험 결과

연구 질문

• RQ1 현재 자연어 처리에서 공통지식 추론을 평가하기 위해 사용되는 주요 벤치마크와 데이터셋은 무엇인가요?
• RQ2 공통지식 추론 작업을 지원하는 데 가장 효과적인 지식 자원은 무엇인가요?
• RQ3 현재의 학습 및 추론 방법은 성능과 일반화 능력 측면에서 어떻게 비교될 수 있나요?
• RQ4 NLP에서 공통지식 추론을 발전시키는 데 있어 주요 한계점과 열려 있는 과제는 무엇인가요?
• RQ5 향후 연구는 기존 연구를 바탕으로 어떻게 더 강력하고 인간과 유사한 추론 능력을 갖춘 기계를 구현할 수 있을까요?

주요 결과

• ARC, CommonsenseQA, HellaSwag 등 다양한 벤치마크가 개발되어 공통지식 추론 능력을 평가하기 위해 사용되며, 각각 다른 추론 능력을 타겟으로 한다.
• ConceptNet 및 오픈 정보 추출 시스템과 같은 지식 자원이 널리 사용되어 NLP 모델에 외부 공통지식을 공급한다.
• 사전학습 기반 모델을 공통지식 작업에 맞게 미세조정하면 성능 향상이著명하지만, 도메인 간 일반화 능력은 여전히 제한되어 있다.
• 기호적 지식과 신경망을 조합한 하이브리드 접근법이 추론의 강건성과 해석 가능성 향상에 유망한 전망을 보이고 있다.
• 진전이 있었음에도 불구하고, 현재 시스템은 분포 외부 추론 및 복잡한 인과 또는 반대가정적 추론에서 여전히 어려움을 겪고 있다.
• 표준화된 평가 프로토콜과 공통 벤치마크의 부재로 인해 다양한 방법 간 공정한 비교가 어렵다.