[논문 리뷰] Are Training Resources Insufficient? Predict First Then Explain!

Myeongjun Jang, Thomas Lukasiewicz|arXiv (Cornell University)|2021. 08. 29.

Topic Modeling참고 문헌 34인용 수 5

한 줄 요약

이 논문은 설명가능한 NLP를 위한 주로 사용되는 설명-예측(EtP) 및 통합 모델의 대안으로 예측-그런 다음 설명(PtE) 아키텍처를 제안한다. PtE 모델은 설명 데이터가 제한된 경우 더 뛰어난 성능을 보이며 EtP 모델보다 빠르게 학습되며, 더 많은 레이블 정보를 반영하고 레이블 조건에 따라 생성된 설명을 생성한다.

ABSTRACT

Natural language free-text explanation generation is an efficient approach to train explainable language processing models for commonsense-knowledge-requiring tasks. The most predominant form of these models is the explain-then-predict (EtP) structure, which first generates explanations and uses them for making decisions. The performance of EtP models is highly dependent on that of the explainer by the nature of their structure. Therefore, large-sized explanation data are required to train a good explainer model. However, annotating explanations is expensive. Also, recent works reveal that free-text explanations might not convey sufficient information for decision making. These facts cast doubts on the effectiveness of EtP models. In this paper, we argue that the predict-then-explain (PtE) architecture is a more efficient approach in terms of the modelling perspective. Our main contribution is twofold. First, we show that the PtE structure is the most data-efficient approach when explanation data are lacking. Second, we reveal that the PtE structure is always more training-efficient than the EtP structure. We also provide experimental results that confirm the theoretical advantages.

연구 동기 및 목표

• 설명가능한 NLP에서 설명 데이터가 적은 상황에서 설명-예측(EtP) 모델의 비효율성을 해결한다.
• 결정 과정에서 설명을 먼저 다루는 모델링 방식이 더 자연스럽거나 효과적이라는 가정을 도전한다.
• 예측-그런 다음 설명(PtE) 아키텍처가 데이터 효율성과 학습 효율성 측면에서 우월한지 조사한다.
• PtE 모델이 생성하는 설명의 품질, 특히 레이블에 기반하고 레이블 조건에 따라 생성된 특성에 대해 탐구한다.
• PtE가 설명 데이터가 제한된 상황에서 더 나은 아키텍처 선택임을 이론적 및 실증적으로 정당화한다.

제안 방법

• 입력 텍스트가 주어졌을 때 레이블과 설명의 결합 가능도를 최대화하는 학습 목표로 설정한다: $\mathcal{L} = \prod_{i=1}^{n} p(y_i, e_i|x_i)$.
• 결합 가능도를 PtE 구조로 분해한다: $p(y_i|x_i) \cdot p(e_i|x_i, y_i)$, 여기서 예측이 설명 생성 이전에 이루어진다.
• 분류 및 설명 생성의 병합 손실을 최소화하여 PtE 모델을 엔드 투 엔드로 학습시킨다.
• 이중 단계 학습 전략을 구현한다: 먼저 분류기를 학습하고, 그 다음 예측된 레이블에 조건부로 설명 생성기를 미세조정한다.
• 동일한 설정에서 PtE 모델을 EtP ($p(e_i|x_i) \cdot p(y_i|x_i, e_i)$) 및 통합 모델 ($p(e_i, y_i|x_i)$)과 비교한다.
• 레이블 조건에 따른 설명 생성을 통해 설명이 예측된 결정과 일치하고 신뢰할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 설명 데이터가 부족한 상황에서 예측-그런 다음 설명(PtE) 아키텍처가 설명-예측(EtP) 및 통합 모델보다 더 뛰어난 데이터 효율성을 보이는가?
• RQ2 PtE 아키텍처는 EtP 아키텍처보다 학습 시간을 줄이는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ3 PtE 모델은 EtP 모델보다 더 많은 레이블 정보를 반영하고 레이블 조건에 따라 생성된 설명을 생성할 수 있는가?
• RQ4 PtE 모델의 설명이 의사결정에 의미 있게 기여하는 정도는 어떠한가, 특히 설명이 입력으로 사용되지 않는 경우에도 말이다?
• RQ5 EtP 모델에서 발생하는 노출 편향은 성능에 어떤 영향을 미치며, PtE는 이 문제를 완화할 수 있는가?

주요 결과

• 설명 데이터가 제한된 상황에서 PtE 모델은 EtP 및 통합 모델보다 유의미하게 뛰어난 성능을 보이며, 더 뛰어난 데이터 효율성을 입증한다.
• PtE 모델은 EtP 모델보다 일관되게 더 뛰어난 학습 효율성을 보이며, 성능을 유지하거나 향상시키면서도 더 적은 학습 시간이 소요된다.
• qualitative 및 quantitative 분석을 통해 PtE 모델은 EtP 모델보다 더 많은 레이블 정보를 반영한 설명을 생성함을 입증한다.
• PtE 아키텍처는 레이블 조건에 따른 설명 생성을 가능하게 하여 설명이 예측된 레이블과 일관되게 유지됨을 보장한다.
• PtE 모델은 노출 편향을 피하고, 반표본 레이블링된 설명 생성이 필요한 문제에서 벗어나며, 이는 EtP 프레임워크에서 흔한 문제이다.
• 실증 결과는 설명 데이터가 부족한 상황에서도 PtE가 정확도와 설명의 충실도 측면에서 EtP를 능가함을 확인한다.