[논문 리뷰] Understanding Few-Shot Commonsense Knowledge Models.

Jeff Da, Ronan Le Bras외 3명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 관계당 제한된 튜플을 사용하여 일반 지식 모델의 소수 예제 학습을 조사하며, 인간 평가에서 완전히 감독된 시스템의 6% 이내로 지식을 생성할 수 있음을 입증한다. 이 방법은 최소한의 감독으로 일반 지식 관계의 광범위한 커버리지 가능하게 하여 NLP에서 효율적인 지식 획득을 위한 확장 가능한 길을 제시한다.

ABSTRACT

Providing natural language processing systems with commonsense knowledge is a critical challenge for achieving language understanding. Recently, commonsense knowledge models have emerged as a suitable approach for hypothesizing situation-relevant commonsense knowledge on-demand in natural language applications. However, these systems are limited by the fixed set of relations captured by schemas of the knowledge bases on which they're trained. To address this limitation, we investigate training commonsense knowledge models in a few-shot setting with limited tuples per commonsense relation in the graph. We perform five separate studies on different dimensions of few-shot commonsense knowledge learning, providing a roadmap on best practices for training these systems efficiently. Importantly, we find that human quality ratings for knowledge produced from a few-shot trained system can achieve performance within 6% of knowledge produced from fully supervised systems. This few-shot performance enables coverage of a wide breadth of relations in future commonsense systems.

연구 동기 및 목표

• 기존 일반 지식 기반의 고정된 관계 스키마의 한계를 해결하기 위해 관계당 소수의 예제로 훈련할 수 있도록 하는 것.
• 자연어 응용 분야에서 일반 지식 모델링을 위한 소수 예제 학습의 타당성과 효능을 탐색하는 것.
• 소수 예제 일반 지식 모델을 효율적이고 효과적으로 훈련하기 위한 최선의 실천 방안을 수립하는 것.

제안 방법

• 일반 지식 관계당 제한된 튜플을 사용하여 소수 예제 설정에서 일반 지식 모델을 훈련하는 것.
• 소수 예제 일반 지식 학습의 다양한 차원을 다루는 다섯 가지 별도의 연구를 수행하여 성능과 강건성을 평가하는 것.
• 완전히 감독된 기준과 비교하여 생성된 지식의 품질을 평가하기 위해 인간 평가를 수행하는 것.
• 기존 지식 기반 스키마를 활용하지만 소수 예제 미세조정을 통해 그 활용도를 확장하는 것.
• 저자원 관계 시나리오에 적합하게 모델을 적응시키기 위해 전이 학습 기법을 적용하는 것.
• 다양한 일반 지식 관계에 걸쳐 모델 성능을 평가하여 광범위한 커버리지와 일반화 능력을 확보하는 것.

실험 결과

연구 질문

• RQ1 소수 예제 학습이 완전히 감독된 모델과 동등한 품질의 일반 지식 모델을 생성할 수 있는가?
• RQ2 관계당 소수의 예제로 훈련할 경우, 다양한 일반 지식 관계에서 성능가 어떻게 변하는가?
• RQ3 소수 예제 일반 지식 학습의 성공에 영향을 미치는 핵심 요소는 무엇인가?
• RQ4 제한된 훈련 데이터에도 불구하고 소수 예제 모델이 어떻게 광범위한 일반 지식 관계 커버리지를 달성할 수 있는가?
• RQ5 소수 예제 일반 지식 모델을 효율적으로 훈련하기 위한 최선의 실천 방안은 무엇인가?

주요 결과

• 소수 예제로 훈련된 모델이 생성한 지식에 대한 인간 평가 점수는 완전히 감독된 시스템의 결과와 6% 이내로 수렴한다.
• 소수 예제 접근법은 광범위한 일반 지식 관계 커버리지를 가능하게 하여 향후 시스템의 범위를 크게 확장한다.
• 최소한의 감독으로도 다양한 일반 지식 관계에 걸쳐 강력한 일반화 능력을 보여준다.
• 결과적으로 소수 예제 학습은 일반 지식 모델링을 위한 완전히 감독된 훈련의 타당하고 효율적인 대안임을 시사한다.
• 다섯 가지 종합적인 연구를 통해 소수 예제 훈련을 위한 최선의 실천 방안이 도출되었으며, 향후 개발을 위한 가이드라인을 제공한다.
• 관계당 소수의 튜플만 존재하는 경우에도 이 접근법은 높은 품질의 지식 생성을 유지한다.