[논문 리뷰] Two-Stage Synthesis Networks for Transfer Learning in Machine Comprehension

David Golub, Po-Sen Huang외 2명|arXiv (Cornell University)|2017. 06. 29.

Topic Modeling참고 문헌 36인용 수 8

한 줄 요약

이 논문은 기계 이해에서 제로샷 전이 학습을 위한 이단계 합성 네트워크(SynNet)를 제안한다. 여기서 비라벨링된 타겟 도메인 문단에서 합성된 질문-답변 쌍을 생성하여 사전에 학습된 모델을 미세조정한다. 먼저 양방향 LSTM을 사용하여 IOB 태깅을 통해 답변 스판을 추출하고, 그 다음에 문단과 답변을 조건으로 삼아 자연스러운 질문을 생성함으로써 SynNet은 SQuAD로 훈련된 모델만을 사용하여 NewsQA에서 F1 성능을 44.3% (단일 모델) 및 46.6% (앙상블)로 향상시켰다. 이는 7.6%의 기준선을 크게 뛰어넘으며, 도메인 내 성능에 가까워진다.

ABSTRACT

We develop a technique for transfer learning in machine comprehension (MC) using a novel two-stage synthesis network (SynNet). Given a high-performing MC model in one domain, our technique aims to answer questions about documents in another domain, where we use no labeled data of question-answer pairs. Using the proposed SynNet with a pretrained model from the SQuAD dataset on the challenging NewsQA dataset, we achieve an F1 measure of 44.3% with a single model and 46.6% with an ensemble, approaching performance of in-domain models (F1 measure of 50.0%) and outperforming the out-of-domain baseline of 7.6%, without use of provided annotations.

연구 동기 및 목표

• 원천 도메인(예: SQuAD)에서 타겟 도메인(예: NewsQA)으로 질문-답변 쌍이 없는 상황에서 기계 이해 모델을 전이하는 문제를 해결하기 위해.
• 비용이 많이 드는 인간 레이블링 데이터에 의존도를 줄이기 위해 전이 학습을 위한 고품질의 합성 훈련 데이터를 생성하기 위해.
• 답변 및 질문 생성을 이단계 과정으로 모델링하여 추출적 기계 이해에서 제로샷 일반화 성능을 향상시키기 위해.
• 비용이 많이 드는 레이블링 파이프라인 없이도 뉴스, 서포트 매뉴얼 등 새로운 도메인에 QA 시스템을 실용적으로 구현할 수 있도록 하기 위해.

제안 방법

• 이단계 SynNet 아키텍처: 첫 번째로, 답변 합성 모듈이 입력된 문단에 대해 양방향 LSTM을 사용하여 IOB 태깅을 예측함으로써 주요 답변 스판을 식별한다.
• 두 번째로, 질문 합성 모듈이 문단 토큰과 IOB 임베딩에 대한 어텐션을 사용하는 단방향 LSTM을 사용하여 자연어 질문을 생성한다.
• 다중 후보가 존재하더라도 각 문단당 하나의 답변 스판만 생성함으로써 질문 생성의 집중도를 확보한다.
• 합성된 질문-답변 쌍을 사용하여 인간 레이블링 데이터 없이도 사전에 학습된 기계 이해 모델(예: BIDAF)을 타겟 도메인에서 미세조정한다.
• 합성 데이터 분포에 대한 과적합을 줄이기 위해, 합성 데이터와 실제(하지만 도메인 외부의) 예시를 혼합하는 배치 전략을 도입한다.
• 답변(짧은 스판)과 질문(완전한 문장) 간의 구조적 차이를 활용하여, 생성 파이프라인 내에서 서로 다른 데이터 유형으로 간주한다.

실험 결과

연구 질문

• RQ1 비라벨링된 타겟 도메인 텍스트에서 생성된 합성 질문-답변 쌍이 기계 이해에서 제로샷 전이 성능을 향상시키는가?
• RQ2 먼저 답변을 생성하고 나서 질문을 생성하는 이단계 생성 과정이 종단간 생성보다 더 고품질의 훈련 데이터를 제공하는가?
• RQ3 합성 데이터로 미세조정된 모델의 성능이 도메인 내 미세조정 및 도메인 외 기준선과 비교해 어떻게 되는가?
• RQ4 어떤 유형의 질문이 합성 데이터 증강에서 가장 큰 이점을 얻는가?
• RQ5 이해가 깊이 필요한 질문(예: '무엇이었나요' 또는 '무엇을 했나요' 질문)에서 합성 데이터 생성이 성능 격차를 줄이는 데 기여하는가?

주요 결과

• SynNet 방법은 SQuAD로 훈련된 BIDAF 모델의 F1 점수를 NewsQA에서 단일 모델 기준 39.0%에서 44.3%로 향상시키며, 앙상블 기준 46.6%까지 상승시켰다. 이는 7.6%의 기준선을 크게 뛰어넘었다.
• 성능 향상은 모든 질문 유형에서 일관되게 관찰되었으며, 위치 및 인물 식별 질문에서 가장 큰 향상이 나타났다.
• 오류 분석 결과, 답변 합성 모듈은 높은 정밀도를 보였지만 명확한 실체(예: 'David Schrader')를 놓치는 경우가 있어, NER/POS 감시를 통한 향상 여지가 있음을 시사한다.
• 질문 생성 모듈은 특히 명사어를 그대로 복사하는 경향이 있어, 다양성을 증진하는 디코딩 전략이 필요함을 나타낸다.
• 합성 데이터로 미세조정된 모델는 숫자 및 인물 식별 질문에서 도메인 내 성능에 가까워졌지만, 고차원 추론 질문에서는 여전히 성능이 열등하다.
• 합성 데이터와 실제 도메인 외부 예시를 혼합하는 배치 전략은 일반화 성능을 향상시키고 합성 데이터 분포에 대한 과적합을 줄였다.