[논문 리뷰] A Dataset Independent Set of Baselines for Relation Prediction in Argument Mining

Oana Cocarascu, Elena Cabrio외 2명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling참고 문헌 41인용 수 10

한 줄 요약

이 논문은 다양한 데이터셋에서 사용 가능한 일반적인 특징(예: 단어 임베딩 및 TF-IDF)을 사용하여 논리적 관계 예측을 위한 데이터셋 독립적 신경망 기반 모델을 제안한다. BERT가 다른 NLP 작업에서 성공을 거둔 바가 있음에도 불구하고, 저자는 비맥락화된 임베딩이 더 우수한 성능을 보이며, 모든 평가된 데이터셋에서 일관되고 뛰어난 성능을 기록함으로써 향후 방법에 대한 신뢰할 수 있는 기준을 제공한다.

ABSTRACT

Argument Mining is the research area which aims at extracting argument components and predicting argumentative relations (i.e.,support and attack) from text. In particular, numerous approaches have been proposed in the literature to predict the relations holding between the arguments, and application-specific annotated resources were built for this purpose. Despite the fact that these resources have been created to experiment on the same task, the definition of a single relation prediction method to be successfully applied to a significant portion of these datasets is an open research problem in Argument Mining. This means that none of the methods proposed in the literature can be easily ported from one resource to another. In this paper, we address this problem by proposing a set of dataset independent strong neural baselines which obtain homogeneous results on all the datasets proposed in the literature for the argumentative relation prediction task. Thus, our baselines can be employed by the Argument Mining community to compare more effectively how well a method performs on the argumentative relation prediction task.

연구 동기 및 목표

• 논리적 관계 예측을 위한 이식 가능하고 데이터셋 간 전이 가능한 기반 모델의 부족을 해결하기 위해.
• 다양한 이질적인 데이터셋을 통해 새로운 방법의 공정한 비교를 가능하게 하기 위해, 다수의 데이터셋에서 강력하고 일관된 기반 모델을 제공하기 위해.
• 일반적인 특징과 신경망 아키텍처가 다양한 논증 코퍼스에서 데이터셋 특화 특징을 능가할 수 있는지 평가하기 위해.
• 맥락화된 임베딩(예: BERT)이 비맥락화된 임베딩에 비해 논증 관계 예측 성능을 향상시키는지 조사하기 위해.
• 데이터셋 특화 언어적 또는 구조적 특징에 의존하지 않는 벤치마크를 수립하기 위해.

제안 방법

• 논리적 관계를 분류하기 위한 네 가지 신경망 아키텍처(합성 모델, 혼합 모델, 오토에인코더, 주의 기반 모델)를 제안한다.
• 위치 또는 주제 유사도와 같은 데이터셋 특화 특징을 피하고, 일반적인 특징(예: 단어 임베딩 및 TF-IDF 벡터)을 사용한다.
• 비맥락화된 단어 임베딩(GloVe 등)과 맥락화된 BERT 임베딩을 비교하기 위해 둘 다 활용한다.
• 각 데이터셋에서 모델을 훈련하고 보류된 테스트 세트에서 성능을 평가하며, 지지 관계와 공격 관계에 대한 F1 스코어를 보고한다.
• 모든 데이터셋 간 비교 가능성을 확보하기 위해 일관된 훈련 및 평가 프rotocol를 적용한다.
• 전반적인 성능 및 일반화 능력을 평가하기 위해 매크로 평균 F1 및 데이터셋 간 평균 F1을 사용한다.

실험 결과

연구 질문

• RQ1 일관된 성능을 내기 위해 데이터셋 특화 특징에 의존하지 않고도, 동일한 신경망 모델 세트가 다양한 논증 마이닝 데이터셋에서 일관된 성능을 달성할 수 있는가?
• RQ2 논증 마이닝에서 BERT와 같은 맥락화된 임베딩을 사용할 경우 비맥락화된 임베딩에 비해 관계 예측 성능이 향상되는가?
• RQ3 다양한 신경망 아키텍처(예: 주의 메커니즘, 오토에인코더)는 데이터셋 간 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 TF-IDF 및 단어 임베딩과 같은 일반적인 특징이 강력한 성능을 내기 위해 충분한가?
• RQ5 여러 논증 마이닝 데이터셋 간 새로운 방법의 공정한 비교를 가능하게 하는 통합 기반 모델을 수립할 수 있는가?

주요 결과

• 제안된 기반 모델은 평가된 11개의 논증 마이닝 데이터셋 전부에서 균일한 성능을 기록하여 강력한 일반화 능력을 입증한다.
• 성능이 가장 뛰어난 모델은 모든 데이터셋에서 지지 관계에 대해 매크로 평균 F1 스코어 0.600, 공격 관계에 대해 0.537을 기록한다.
• 비맥락화된 단어 임베딩(GloVe 등)이 BERT 임베딩보다 우수한 성능을 보이며, BERT 임베딩는 기반 모델에 비해 향상되지 않았다.
• 주의 기반 모델과 합성 모델이 평균 F1 스코어가 가장 높았으며, 최적 설정에서 주의 모델은 공격 관계에 대해 0.533 F1, 지지 관계에 대해 0.533 F1을 기록했다.
• TF-IDF 및 단어 임베딩와 같은 일반적인 특징의 사용은 데이터셋 특화 엔지니어링 없이도 일관된 성능을 가능하게 한다.
• 결과는 데이터셋 특화 특징이 높은 정확도를 위해 필수적이라는 가정을 뒤집으며, 강력한 성능을 내기 위해 반드시 필요하지 않다는 것을 시사한다.