[논문 리뷰] Same Side Stance Classification Task: Facilitating Argument Stance Classification by Fine-tuning a BERT Model

Stefan Ollinger, Lorik Dumani외 3명|arXiv (Cornell University)|2020. 04. 23.

Topic Modeling참고 문헌 8인용 수 6

한 줄 요약

이 논문은 주제별 레이블링이 필요 없이 두 논거가 주제에 대해 동일한 입장을 취하는지 판단하는 동일한 입장 태도 분류 작업을 위해 BERT 모델을 피지테이닝하는 방법을 제안한다. 논쟁 웹사이트에서 수집한 논거 쌍에 대해 BERT-base 및 BERT-large 모델을 피지테이닝한 결과, 최신 기술 수준의 성능을 달성하였으며, 대규모 모델은 주제 내 테스트 데이터에서 94.71%의 정확도를 기록하여 SVM 기반 베이스라인을 압도하고 공동 과제 리더보드에서 1위를 기록하였다.

ABSTRACT

Research on computational argumentation is currently being intensively investigated. The goal of this community is to find the best pro and con arguments for a user given topic either to form an opinion for oneself, or to persuade others to adopt a certain standpoint. While existing argument mining methods can find appropriate arguments for a topic, a correct classification into pro and con is not yet reliable. The same side stance classification task provides a dataset of argument pairs classified by whether or not both arguments share the same stance and does not need to distinguish between topic-specific pro and con vocabulary but only the argument similarity within a stance needs to be assessed. The results of our contribution to the task are build on a setup based on the BERT architecture. We fine-tuned a pre-trained BERT model for three epochs and used the first 512 tokens of each argument to predict if two arguments share the same stance.

연구 동기 및 목표

• 다양한 주제에 걸쳐 신뢰성 있게 태도를 분류하는 데 어려움이 있는 기존 방법들이 주제별로 특화된 학습이 필요로 하는 문제를 해결하기 위해.
• 프로/콘 태도를 구분하는 대신, 두 논거가 동일한 태도를 취하는지 여부에 집중하여 태도 분류를 단순화하기 위해.
• 명시적인 특징 엔지니어링 없이도 BERT 기반 모델이 논거 간 의미 유사성을 학습하는 데 효과적인지 평가하기 위해.
• 입력 시퀀스 길이와 잘라내기(truncation)가 태도 분류 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 논거 쌍 데이터셋에서 동일한 입장 또는 다른 입장으로 레이블링된 데이터를 대상으로 BERT-base 및 BERT-large 모델을 3 에포크 동안 피지테이닝하였다.
• 각 논거의 첫 512개 토큰을 입력으로 사용하였으며, 분류 작업은 [CLS] 토큰의 표현을 통해 수행되었다.
• 내주제 설정(학습 및 테스트에서 동일한 주제)과 교차주제 설정(학습 및 테스트에서 다른 주제)의 두 가지 설정에서 모델을 학습하고 평가하였다.
• 최대 시퀀스 길이(32에서 512 토큰)를 다양하게 설정하여 잘라내기 및 비잘라내기 데이터 모두에서 성능을 비교하였다.
• 정확도와 F1 점수를 사용하여 모델 성능을 평가하였으며, 잘라낸 입력과 전체 문장 입력 모두에서 결과를 보고하였다.
• Hugging Face Transformers 라이브러리를 사용하여 BERT 모델을 구현하고 학습하였으며, 맥락 기반 임베딩을 활용하여 의미 유사성 탐지 기능을 구현하였다.

실험 결과

연구 질문

• RQ1 피지테이닝된 BERT 모델이 동일한 입장 태도 분류에서 기존의 SVM 기반 베이스라인을 능가할 수 있는가?
• RQ2 구문적·의미적 복잡성이 다양한 논거 쌍에 대해 입력 시퀀스 길이를 늘일수록 분류 정확도가 향상되는가?
• RQ3 입력 잘라내기 여부에 따라 모델 성능이 민감하게 영향을 받는가, 아니면 부분적인 문장에서도 효과적으로 학습할 수 있는가?
• RQ4 한 주제에서 학습하고 다른 주제에서 테스트할 경우 모델의 일반화 능력이 향상되는가?
• RQ5 명시적인 특징 엔지니어링 없이도 BERT 기반 접근 방식이 논거 태도의 의미적 표현을 충분히 학습할 수 있는가?

주요 결과

• BERT-large 모델은 비잘라낸 내주제 테스트 데이터에서 94.71%의 정확도를 기록하여 SVM 기반 베이스라인의 54% 정확도를 크게 뛰어넘었다.
• BERT-base 모델은 비잘라낸 내주제 테스트 데이터에서 90.64%의 정확도를 기록하여 더 작은 아키텍처임에도 불구하고 뛰어난 성능을 보였다.
• 내주제 및 교차주제 평가 모두에서 모든 시퀀스 길이 설정에서 대규모 모델이 베이스 모델을 압도하는 성능을 보였다.
• 입력 길이를 512 토큰으로 잘라내도 성능에 큰 영향을 주지 않았으며, 전체 논거 쌍의 76%가 이미 512 토큰 이내에 속해 있었다.
• 부분적으로 잘라낸 문장에서도 모델이 잘 작동하여 완전한 문장이 필요하지 않음을 확인하였으며, 이는 가설 4(완전한 문장이 필요하다)를 기각하는 데 기여하였다.
• 공동 과제 리더보드에서 이 방법은 교차주제 분류에서 73%의 정확도, 72%의 정밀도, 66%의 재현율을 기록하여 ASV 팀을 앞서 정밀도에서 승리하였다.