[論文レビュー] Same Side Stance Classification Task: Facilitating Argument Stance Classification by Fine-tuning a BERT Model

Stefan Ollinger, Lorik Dumani+3 more|arXiv (Cornell University)|Apr 23, 2020

Topic Modeling参考文献 8被引用数 6

ひとこと要約

この論文では、トピック固有のラベルを必要とせずに、2つの議論が同じトピックに対して同じスタンスを持っているかどうかを判断する同じ側面スタンス分類タスクのため、BERTモデルをファインチューニングする手法を提案している。議論ウェブサイトの議論ペアに対して、ファインチューニングされたBERT-baseおよびBERT-largeモデルを用いたアプローチは、最先端の性能を達成しており、大規模モデルでは非切断のトピック内テストデータで94.71%の正確性を達成し、SVMベースラインを上回り、共有タスクのリーダーボードで1位となった。

ABSTRACT

Research on computational argumentation is currently being intensively investigated. The goal of this community is to find the best pro and con arguments for a user given topic either to form an opinion for oneself, or to persuade others to adopt a certain standpoint. While existing argument mining methods can find appropriate arguments for a topic, a correct classification into pro and con is not yet reliable. The same side stance classification task provides a dataset of argument pairs classified by whether or not both arguments share the same stance and does not need to distinguish between topic-specific pro and con vocabulary but only the argument similarity within a stance needs to be assessed. The results of our contribution to the task are build on a setup based on the BERT architecture. We fine-tuned a pre-trained BERT model for three epochs and used the first 512 tokens of each argument to predict if two arguments share the same stance.

研究の動機と目的

• トピック固有のトレーニングを必要とする既存の手法とは異なり、さまざまなトピックにわたる議論スタンスを信頼性高く分類する課題に対処すること。
• プロ／コンのラベルを区別するのではなく、2つの議論が同じスタンスを持っているかどうかに焦点を当てることで、スタンス分類を簡素化すること。
• 明示的な特徴工学を用いずに、BERTベースのモデルが議論間の意味的類似性を学習する有効性を評価すること。
• 入力シーケンス長および切断の影響が、スタンス分類におけるモデルのパフォーマンスに与える影響を調査すること。

提案手法

• 議論ペアのデータセット（同じスタンス／異なるスタンス）に対して、事前学習済みのBERT-baseおよびBERT-largeモデルを3エポック分ファインチューニングした。
• 各ペアの議論の最初の512トークンを入力とし、分類は[CLS]トークンの表現を用いて行った。
• トピック内（トレーニングとテストで同じトピック）およびトピック間（トレーニングとテストで異なるトピック）の2つの設定で、モデルを訓練および評価した。
• 最大シーケンス長（32〜512トークン）を変化させた結果を比較し、切断あり／なしのデータを含めた。
• 正確性とF1スコアを用いてモデルのパフォーマンスを評価し、切断ありおよび完全な文入力の両方で結果を報告した。
• Hugging Face Transformersライブラリを用いてBERTモデルを実装およびトレーニングし、文脈に応じた埋め込みを活用して意味的類似性を検出した。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされたBERTモデルは、従来のSVMベースラインを上回る性能を示すのか？
• RQ2 文の構文的・意味的複雑さが異なる議論ペアにおいて、入力シーケンス長を延ばすことで分類正確性が向上するのか？
• RQ3 モデルのパフォーマンスは、入力の切断に敏感なのか、それとも部分的な文からも効果的に学習できるのか？
• RQ4 あるトピックで学習し、別のトピックでテストした場合、モデルはより良い汎化性能を示すのか？
• RQ5 明示的な特徴工学を用いずに、BERTベースのアプローチは議論スタンスの意味的表現を適切に学習できるのか？

主な発見

• BERT-largeモデルは、非切断のトピック内テストデータで94.71%の正確性を達成し、SVMベースラインの54%を大きく上回った。
• BERT-baseモデルは、非切断のトピック内テストデータで90.64%の正確性を達成し、小型アーキテクチャでも強力な性能を示した。
• 大規模モデルは、トピック内およびトピック間の両評価において、すべてのシーケンス長設定でベースモデルを上回った。
• 512トークンに切断してもパフォーマンスに顕著な劣化は見られず、76%の議論ペアがもともと512トークン未満であったため。
• 部分的に切断された文に対しても良好な性能を示したため、モデルは不完全な入力に対しても頑健であり、仮説4（完全な文が必要）は否定された。
• 共有タスクのリーダーボードでは、トピック間分類で73%の正確性、72%の適合率、66%の再現率を達成し、ASVチームを適合率で上回り、1位となった。