[논문 리뷰] Unifying Question Answering, Text Classification, and Regression via Span Extraction

Nitish Shirish Keskar, Bryan McCann외 2명|arXiv (Cornell University)|2019. 04. 19.

Topic Modeling참고 문헌 30인용 수 28

한 줄 요약

이 논문은 스파니어 추출을 공통 출력 메커니즘으로 사용하여 질의 응답, 텍스트 분류 및 회귀 작업을 통합하는 프레임워크를 제안한다. 모든 세 가지 작업을 공통의 BERT 기반 아키텍처를 사용해 스파니어 추출 문제로 재정의함으로써, 특히 저데이터 및 다중작업 설정에서 우수하거나 동등한 성능을 달성하며, 작업별 출력 헤드가 불필요하고 통합된 스파니어 추출 인덕티브 바이어스에 비해 열등하다는 것을 입증한다.

ABSTRACT

Even as pre-trained language encoders such as BERT are shared across many tasks, the output layers of question answering, text classification, and regression models are significantly different. Span decoders are frequently used for question answering, fixed-class, classification layers for text classification, and similarity-scoring layers for regression tasks, We show that this distinction is not necessary and that all three can be unified as span extraction. A unified, span-extraction approach leads to superior or comparable performance in supplementary supervised pre-trained, low-data, and multi-task learning experiments on several question answering, text classification, and regression benchmarks.

연구 동기 및 목표

• NLP 모델에서 작업별 출력 헤드(예: 분류 또는 회귀 레이어)를 제거하기 위해.
• 질의 응답, 텍스트 분류 및 회귀를 하나의 스파니어 추출 프레임워크로 통합하기 위해.
• 스패니어 추출을 사용할 때 중간 작업 학습(STILTs)이 세 가지 작업 유형 전반에서 성능을 향상시키는지 평가하기 위해.
• 질의 응답 및 텍스트 분류 데이터셋을 결합하여 다중작업 학습에서의 교차 작업 전이를 탐색하기 위해.
• 제한된 훈련 데이터 하에서 스파니어 추출 접근법의 견고성 평가하기 위해.

제안 방법

• 입력 시퀀스에 클래스 레이블 또는 버킷화된 값들을 추가하여 텍스트 분류 및 회귀 작업을 스파니어 추출 문제로 재정의한다.
• 입력 텍스트를 인코딩하기 위해 사전 훈련된 BERT 인코더를 사용하며, 스파니어 추출은 입력 시퀀스 상의 시작 및 끝 토큰 예측을 통해 수행된다.
• 분류 작업의 경우, 입력 텍스트에 모든 클래스 레이블을 스파니어 후보로 포함한다; 회귀 작업의 경우, 이산화된 값 버킷을 후보로 사용한다.
• 동일한 스파니어 추출 헤드를 사용하여 보조 작업에서 미세조정함으로써 중간 작업 학습(STILTs)을 적용한다.
• 공유된 파라미터와 단일 스파니어 추출 헤드를 사용하여 모든 작업을 통합한 다중작업 모델을 훈련한다.
• 작업별 분류 또는 유사도 레이어 없이, 표준 스파니어 추출 손실(예: 시작 및 끝 위치에 대한 교차 엔트로피)을 최적화한다.

실험 결과

연구 질문

• RQ1 텍스트 분류 및 회귀 작업을 질의 응답과 공통의 스파니어 추출 프레임워크로 효과적으로 통합할 수 있는가?
• RQ2 스패니어 추출 모델에 중간 작업 학습(STILTs)을 적용할 경우, QA, 분류 및 회귀 작업 전반에서 성능 향상이 이루어지는가?
• RQ3 질의 응답 및 텍스트 분류 데이터셋을 다중작업 학습에서 결합하면, 별개로 사용할 경우보다 더 높은 성능을 낼 수 있는가?
• RQ4 완전히 통합된 스파니어 추출 모델은 잠재적인 부정적 전이가 존재하더라도 작업별 모델보다 성능이 뛰어나게 되는가?
• RQ5 제한된 훈련 데이터 하에서 스파니어 추출 접근법은 전통적인 작업별 출력 헤드에 비해 어떻게 비교되는가?

주요 결과

• GLUE 벤치마크에서 스파니어 추출 접근법은 저데이터 및 다중작업 설정에서 작업별 모델보다 우수하거나 동등한 성능을 보이며, 특히 이들 환경에서 뛰어난 성능을 발휘한다.
• 스패니어 추출을 사용할 경우 중간 작업 학습(STILTs)은 세 가지 작업 유형 전반에서 성능을 크게 향상시키며, 기존의 분류 및 회귀 헤드에 비해 효과적인 것으로 입증된다.
• 질의 응답 및 텍스트 분류 데이터셋을 다중작업 학습에서 결합하면 두 작업 모두에서 성능 향상이 이루어지며, 일부 작업에서 9% 이상의 정확도 향상이 관찰된다.
• 완전히 통합된 스파니어 추출 모델은 단일작업 모델보다 더 강력한 다중작업 성능을 달성하지만, SQuAD 및 MNLI와 같은 개별 작업에서는 성능이 열 劣하므로 다중작업 학습에서의 상충 관계가 존재함을 시사한다.
• 제한된 훈련 데이터 하에서 스파니어 추출 접근법은 작업별 출력 헤드보다 더 견고하며, 일반화 능력 향상이 뚜렷하다.
• 더 단순하고 간결한 입력 형식(예: 짧은 클래스 설명)은 세부 설명보다 스파니어 검색 공간이 작아져 더 높은 성능을 낸다.