[논문 리뷰] TTTTTackling WinoGrande Schemas

Sheng-Chieh Lin, Jheng-Hong Yang외 4명|arXiv (Cornell University)|2020. 03. 18.

Topic Modeling참고 문헌 9인용 수 5

한 줄 요약

이 논문은 T5-3B 모델을 사용한 시퀀스 투 시퀀스 접근 방식을 제안하여 WinoGrande 공공의리 추론 도전 과제를 해결한다. 각 다중선택 문제를 두 개의 텍스트 투 텍스트 추론 인스턴스로 분해하고, 각 인스턴스는 가설과 전제를 포함하며, 함의/모순 확률을 사용하여 정답을 선택한다. 이 방법은 공식 랭킹에서 SOTA AUC 0.7673을 기록하여 이전 모델보다 5점 이상 뛰어나다.

ABSTRACT

We applied the T5 sequence-to-sequence model to tackle the AI2 WinoGrande Challenge by decomposing each example into two input text strings, each containing a hypothesis, and using the probabilities assigned to the "entailment" token as a score of the hypothesis. Our first (and only) submission to the official leaderboard yielded 0.7673 AUC on March 13, 2020, which is the best known result at this time and beats the previous state of the art by over five points.

연구 동기 및 목표

• 시퀀스 투 시퀀스 사전학습 접근 방식을 사용하여 WinoGrande 공공의리 추론 벤치마크 성능을 향상시키는 것.
• 다중선택 공공의리 과제에서 모호하거나 비대칭적인 모델 출력 문제를 해결하기 위해 로짓 기반 확률 투표 메커니즘을 도입하는 것.
• T5의 생성 능력이 RoBERTa와 같은 인코더 전용 모델보다 편향에 강건한 공공의리 추론에서 슈퍼리어한 성능을 낼 수 있는지 조사하는 것.
• 대상 토큰 선택(예: '함의/모순' 대비 '참/거짓')이 모델 성능에 미치는 영향을 평가하는 것.
• WinoGrande에서의 SOTA 성능가 진정한 추론 진전을 반영하는지, 아니면 잔류 데이터셋 편향을 악용한 것인지 규명하는 것.

제안 방법

• 각 WinoGrande 예제는 빈칸이 각 답변 옵션으로 대체된 두 개의 입력-출력 쌍으로 분해되며, 모델은 결과 문장 쌍이 함의하는지 또는 모순하는지 예측한다.
• 모델는 텍스트 투 텍스트 형식을 사용하여 T5-3B에서 파인튜닝되며, '전제:'와 '가설:' 접두사를 포함하는 템플릿을 사용하여 작업을 프레임한다.
• 추론 시 두 옵션은 독립적으로 점수를 매기며, 사전 정의된 대상 토큰에 대해 '함의'와 '모순'에 대한 모델의 예측 확률이 소프트맥스를 통해 비교된다.
• 출력이 일관되지 않거나 비대칭적인 경우, 로짓 기반 투표 전략을 통해 '함의' 또는 '모순'에 대해 높은 확률을 가진 옵션을 선택한다.
• 모델는 배치 크기가 16이고 기본 파인튜닝 학습률이 $2 \cdot 10^{-4}$인 Google Colab의 TPU v2에서 훈련되며, 5000단계마다 체크포인트가 저장된다.
• 최종 모델는 개발 세트 성능에 기반하여 선택되며, 추론 시 그리디 디코딩을 사용한다.

실험 결과

연구 질문

• RQ1 T5와 같은 시퀀스 투 시퀀스 모델이 데이터셋 편향을 줄이기 위해 설계된 WinoGrande 벤치마크에서 인코더 전용 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 대상 토큰 선택(예: '함의/모순' 대비 '참/거짓')이 모델 성능에 상당한 영향을 미치는가?
• RQ3 로짓 기반 확률 투표 전략이 모호한 예측 케이스에서 얼마나 성능을 향상시키는가?
• RQ4 WinoGrande에서의 높은 성능가 진정한 공공의리 추론 진전을 반영하는가, 아니면 잔류 통계적 편향을 악용한 것인가?
• RQ5 T5의 생성적 사전학습 능력이 순수하게 자동회귀 언어 모델링보다 더 나은 공공의리 추론을 이끌 수 있는가?

주요 결과

• 이 방법은 공식 WinoGrande 테스트 세트에서 AUC 0.7673을 기록하여, 제출 당시까지 알려진 최고 성능이다.
• 로짓 기반 투표 전략은 특히 모델 출력이 비대칭적이거나 모호한 경우 성능 향상에 크게 기여했다.
• 더 큰 훈련 데이터 크기(최대 XL)로 파인튜닝하면 일관된 성능 향상이 있었으며, 가장 큰 데이터 분할에서 개발 세트 AUC는 0.854였다.
• '참/거짓'을 대상 토큰으로 사용했을 때 '함의/모순'을 사용한 것과 비교해 성능 향상이 없었지만, 제로샷 설정에서는 경쟁 가능한 성능을 보였다.
• 이전의 RoBERTa 기반 SOTA 모델을 능가하는 성능을 기록하여, T5의 생성 능력이 공공의리 추론에서 이점을 가질 수 있음을 시사한다.
• 심지어 제로샷 설정에서도 로짓 트릭을 통해 무작위 수준을 명확히 상회하는 성능를 기록하여, 이 방법이 파인튜닝 부족에 대해 강건함을 보였다.