[논문 리뷰] Question Answering is a Format; When is it Useful?

Matt Gardner, Jonathan Berant외 3명|arXiv (Cornell University)|2019. 09. 25.

Multimodal Machine Learning Applications참고 문헌 38인용 수 21

한 줄 요약

이 논문은 자연어 처리(NLP)에서 질문-답변(QA)를 별개의 작업이 아니라 융통성 있는 형식으로 보는 것이 바람직하다고 주장한다. 질문 이해가 필수적인 경우—즉, 질문을 간단한 식별자로 대체할 수 없는 경우에 QA가 가장 유용하다고 보며, 세 가지 핵심 활용 사례를 제시한다: 인간의 정보 필요 충족, 복잡한 작업에 대한 영구적인 주석 부여 유연성 확보, 공통 아키텍처를 통한 모델 전이 지원. 주요 기여는 개념적 혼동을 줄이고 더 나은 데이터셋 설계를 이끌기 위해 QA를 형식으로 재정의하는 데 있다.

ABSTRACT

Recent years have seen a dramatic expansion of tasks and datasets posed as question answering, from reading comprehension, semantic role labeling, and even machine translation, to image and video understanding. With this expansion, there are many differing views on the utility and definition of "question answering" itself. Some argue that its scope should be narrow, or broad, or that it is overused in datasets today. In this opinion piece, we argue that question answering should be considered a format which is sometimes useful for studying particular phenomena, not a phenomenon or task in itself. We discuss when a task is correctly described as question answering, and when a task is usefully posed as question answering, instead of using some other format.

연구 동기 및 목표

• 자연어 처리 및 컴퓨터 비전 분야에서 '질문-답변'의 정의에 대한 개념적 혼동을 명확히 하기 위해.
• QA를 별개의 작업이 아니라 형식으로 간주하여, 데이터셋에서의 과도한 사용 및 오분류를 방지하기 위해.
• 특정, 타당한 활용 사례를 식별하여, 작업을 QA 형식으로 제시함으로써 연구 성과를 향상시키는 경우를 밝히기 위해.
• 형식론이 부족한 경우 새로운 데이터셋에 적절한 형식을 선택하는 데 연구자들을 안내하기 위해.
• 형식의 적절성에 중점을 두어, 중복되거나 타당성 없는 QA 데이터셋의 증가를 줄이기 위해.

제안 방법

• 질문 이해가 필수적인 경우에만 QA가 유효한 형식임을 구분할 수 있는 프레임워크 제안.
• 질문 이해가 비트리비얼한 경우(여기서 QA가 유용함)와 질문이 정수 ID로 대체 가능한 경우(여기서 QA가 불필요함)로 작업을 분류.
• 기존 데이터셋과 작업을 분석하여 QA 형식이 주석 부여의 영속성, 모델 전이, 인간과의 일치도 향상에 기여하는지 평가.
• 질문 템플릿을 통해 인도크티브 바이어스를 제공하는 사례를 강조함—예를 들어 '어디서'는 위치로, '무엇'은 실체로 매핑하는 방식.
• 관계 추출 및 실체 추적과 같은 과제에서 QA 템플릿이 사전학습 없이도 모델 성능 향상에 기여하는지 평가.
• 표준 공유 표현 접근 방식과 비교하여 QA 기반 다중 과제 학습의 성능을 평가하며, 과제가 유사하지 않은 경우 성공이 제한됨을 보여줌.

실험 결과

연구 질문

• RQ1 어떤 NLP 과제에 대해 질문-답변가 유용한 형식이 되는가, 별개의 작업이 되는가?
• RQ2 진정으로 질문 이해가 필요한 과제와 질문이 단지 자리표시자일 뿐인 과제를 어떻게 구분할 수 있는가?
• RQ3 비-QA 과제를 QA 형식으로 제시할 경우, 어떤 상황에서 모델 성능 향상이나 주석 부여 효율성이 향상되는가?
• RQ4 QA 형식은 다양한 NLP 과제 간의 전이 학습을 어떻게 지원할 수 있는가?
• RQ5 왜 QA 형식의 광범위한 사용이 NLP 연구에서 개념적·방법론적 혼동을 야기했는가?

주요 결과

• QA는 개념적 과잉 확장과 데이터셋 설계의 명확성 향상을 위해 작업이 아니라 형식으로 보아야 한다.
• QA는 질문 이해가 비트리비얼한 경우—즉, 질문을 정수 ID로 대체하면 과제가 변하는 경우—에서 가장 유용하다.
• 자연어 질문이 모델 이해도를 영속적으로, 인간과 일치하는 방식으로 탐색할 수 있도록 해주는 독해력 테스트 및 일반 지식 추론과 같은 과제에서 QA는 유익하다.
• 어떤 경우에선 QA 템플릿이 유용한 인도크티브 바이어스를 제공하며, 예를 들어 '어디서'를 공간적 위치로, '무엇'을 실체로 매핑함으로써 관계 추출과 같은 과제에서 성능 향상에 기여한다.
• QA 형식을 통한 전이 학습은 원천 과제와 타겟 과제가 매우 유사할 때에만 효과적이며, 관계 추출 및 실체 추적 실험에서 이를 확인할 수 있다.
• 다양한 과제를 QA 형식으로 제시한 다중 과제 학습은 공유 표현에 과제별 헤드를 사용하는 것에 비해 일반적으로 성능이 열 劣하므로, QA 형식의 광범위한 전이에 대한 확장성은 제한되어 있음을 시사한다.