[논문 리뷰] FR: Folded Rationalization with a Unified Encoder

Wei Liu, Haozhao Wang외 4명|arXiv (Cornell University)|2022. 09. 17.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 두 단계 모델에서 발생하는 교육의 비일치로 인한 열악한 성능 악화 문제를 해결하기 위해 생성기와 예측기를 하나의 단계에서 통합하는 통합형 프레임워크인 Folded Rationalization (FR)을 제안한다. 공유된 텍스트 인코더를 통해 생성기와 예측기가 동일한 표현을 학습함으로써 상호 학습을 가능하게 하여, 최첨단 기법 대비 F1 점수 최대 10.3% 향상으로 인해 추론 품질을 향상시킨다.

ABSTRACT

Conventional works generally employ a two-phase model in which a generator selects the most important pieces, followed by a predictor that makes predictions based on the selected pieces. However, such a two-phase model may incur the degeneration problem where the predictor overfits to the noise generated by a not yet well-trained generator and in turn, leads the generator to converge to a sub-optimal model that tends to select senseless pieces. To tackle this challenge, we propose Folded Rationalization (FR) that folds the two phases of the rationale model into one from the perspective of text semantic extraction. The key idea of FR is to employ a unified encoder between the generator and predictor, based on which FR can facilitate a better predictor by access to valuable information blocked by the generator in the traditional two-phase model and thus bring a better generator. Empirically, we show that FR improves the F1 score by up to 10.3% as compared to state-of-the-art methods.

연구 동기 및 목표

• 두 단계 라이티오널라이제이션 모델에서 생성기가 잘 훈련되지 않은 상태에서 생성된 무의미한 추론을 예측기가 과적합하는 문제를 해결하기 위해.
• 통합 인코더를 통해 생성기와 예측기가 동일한 맥락적 표현을 공유함으로써, 생성기가 더 풍부하고 필터링되지 않은 입력 정보에 접근할 수 있도록 하여 생성된 추론의 품질을 향상시키기 위해.
• 기존의 두 단계 프레임워크에서 복잡한 정규화 모듈이나 수동적인 하이퍼파라미터 튜닝(예: 학습률 균형 조정)이 필요로 하지 않도록 하기 위해.
• 생성기와 예측기 간의 학습을 공유 표현 학습을 통해 동기화함으로써 더 단순하고 효과적인 훈련 파라다임을 제안하기 위해.

제안 방법

• FR는 생성기와 예측기 간에 공유되는 통합 텍스트 인코더를 도입하여 기존의 두 단계 파이프라인을 대체한다.
• 생성기는 소프트 또는 하드 토큰 선택을 수행하여 추론를 생성하고, 예측기는 전체 입력과 추론를 함께 사용하여 예측을 수행한다.
• 공유 인코더는 두 구성 요소가 동일한 맥락적 표현을 학습하도록 보장하여, 동기화되고 더 안정적인 훈련을 가능하게 한다.
• 생성기는 예측기의 피드백을 통해 이점을 얻고, 예측기는 잘 훈련된 생성기로부터 고품질의 추론 신호에 액세스할 수 있다.
• 보조 모듈이나 별도의 훈련 단계가 필요로 하지 않는 엔드 투 엔드의 공동 최적화 방식으로 훈련된다.
• 표준 라이티오널라이제이션 목적과 호환되며, 아키텍처의 대대적인 수정 없이 기존 데이터셋에 적용 가능하다.

실험 결과

연구 질문

• RQ1 생성기와 예측기 간의 통합 인코더가 두 단계 라이티오널라이제이션 모델의 열악한 성능 악화 문제를 완화할 수 있는가?
• RQ2 분리된 학습 대비 공유 표현 학습이 추론 품질 향상에 어떻게 기여하는가?
• RQ3 추가 모듈이나 하이퍼파라미터 튜닝 없이 FR이 기존 정규화된 두 단계 방법보다 얼마나 뛰어난 성능을 내는가?
• RQ4 생성기와 예측기 간의 학습 속도 동기화가 더 안정적이고 효과적인 수렴을 이끌어내는가?
• RQ5 FR은 감성 분석 및 텍스트 분류와 같은 다양한 NLP 작업에 일반화되어 고급 추론 해석 가능성 유지가 가능한가?

주요 결과

• FR은 벤치마크 라이티오널라이제이션 데이터셋에서 최첨단 기법 대비 F1 점수 최대 10.3% 향상시켰다.
• 추가 정규화 모듈이나 복잡한 하이퍼파라미터 튜닝 없이도 뛰어난 성능을 달성했다.
• 제거 실험 결과, 공유 인코더가 생성기와 예측기 간의 상호 학습을 가능하게 하여 열악한 성능 악화 문제를 크게 감소시킨다는 것이 확인되었다.
• FR은 RNP 및 기타 두 단계 모델보다도 생성기의 학습률과 예측기의 학습률을 정밀하게 균형 조절하지 않아도 성능을 뛰어나게 한다.
• 실패 케이스는 고수준의 세계 지식 및 논리적 추론을 포착하지 못하는 한계를 드러내며, 표면적 토큰 선택을 넘어서 의미적 이해 향상 여지가 있음을 시사한다.