[논문 리뷰] Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference

Youwei Song, Jiahai Wang외 3명|arXiv (Cornell University)|2020. 02. 12.

Sentiment Analysis and Opinion Mining참고 문헌 14인용 수 59

한 줄 요약

본 논문은 LSTM이나 어텐션으로 중간층 BERT CLS 토큰 표현을 풀링하는 것이 vanilla BERT에 비해 ABSA와 NLI 성능을 향상시키고, 약간의 조정으로 최첨단 모델에도 확장될 수 있음을 보인다.

ABSTRACT

Aspect based sentiment analysis aims to identify the sentimental tendency towards a given aspect in text. Fine-tuning of pretrained BERT performs excellent on this task and achieves state-of-the-art performances. Existing BERT-based works only utilize the last output layer of BERT and ignore the semantic knowledge in the intermediate layers. This paper explores the potential of utilizing BERT intermediate layers to enhance the performance of fine-tuning of BERT. To the best of our knowledge, no existing work has been done on this research. To show the generality, we also apply this approach to a natural language inference task. Experimental results demonstrate the effectiveness and generality of the proposed approach.

연구 동기 및 목표

• 최종 레이어를 넘어서 ABSA를 위한 BERT의 중간 레이어를 활용하도록 동기를 부여한다.
• 다중 레이어 CLS 표현을 융합하기 위한 풀링 전략(LSTM-Pooling 및 Attention-Pooling)을 제안한다.
• 여러 데이터셋에서 향상된 ABSA 성능을 보여준다.
• 큰 규모의 NLI 작업(SNLI) 및 최첨단 모델(MT-DNN)에 적용하여 일반화를 보인다.

제안 방법

• 모든 BERT 중간 계층에서 CLS 히든 상태를 추출한다.
• 두 가지 풀링 전략을 제시한다: LSTM-Pooling은 CLS 상태들 위에 있는 LSTM을 통해 계층 표현을 연결하고; Attention-Pooling은 CLS 상태들에 대한 닷-프로덕트 어텐션으로 가중 합을 계산한다.
• 풀링 모듈과 함께 분류를 위한 BERT를 미세 조정한다.
• ABSA 데이터셋에서 vanilla BERT 및 다른 BERT 기반 변형과 비교한다.
• 일반성 테스트를 위해 MT-DNN에도 동일한 풀링 전략을 적용한다.
• ABSA 실험은 10-폴드 교차검증을 사용하고 SNLI는 표준 dev/test 분할을 사용한다.

실험 결과

연구 질문

• RQ1 풀링을 통해 중간 계층 CLS 표현을 포함하는 것이 표준 최종 계층 미세 조정보다 ABSA 성능을 향상시키는가?
• RQ2 어떤 풀링 전략(LSTM 대 Attention)이 도메인 간 더 나은 ABSA 결과를 내는가?
• RQ3 이 접근법은 큰 규모의 NLI 작업 및 다른 BERT 기반 모델에 일반화될 수 있는가?
• RQ4 ABSA 데이터셋에서 사후 학습된 BERT 변형과 비교하여 방법의 성능은 어떠한가?

주요 결과

• BERT-LSTM 및 BERT-Attention은 세 가지 ABSA 데이터셋(Laptop, Restaurant, Twitter)에서 vanilla BERT보다 우수하다.
• 풀링 전략은 Laptop 및 Restaurant 데이터셋에서 사후 학습된 BERT 변형과 유사하거나 이를 능가하는 이점을 제공한다.
• SNLI에서 BERT-Attention 및 BERT-LSTM은 vanilla BERT를 능가하고, MT-DNN 변형도 풀링의 이점을 얻어 일반성을 보인다.
• 개선은 데이터셋 전반에서 일관되며, 풀링 방법은 다른 작업에도 직접 적용 가능하다.