[論文レビュー] Contextual Sentence Classification: Detecting Sustainability Initiatives in Company Reports

Dan Hirlea, Christopher Bryant+2 more|arXiv (Cornell University)|Oct 7, 2021

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、文脈的文分類を用いて企業報告書内の持続可能性イニシアチブを検出するための新規タスクを提示する。文脈を考慮したRoBERTaベースのモデルに、CRFデコードを組み合わせることでスパンレベルの予測の整合性を向上させ、2文の文脈を用いたExact Matchで49.16のF1スコアを達成した。これは、マルチセンテンスのイニシアチブやラベルの一貫性をより良く扱えるため、二値分類を大幅に上回った。

ABSTRACT

We introduce the novel task of detecting sustainability initiatives in company reports. Given a full report, the aim is to automatically identify mentions of practical activities that a company has performed in order to tackle specific societal issues. New methods for identifying continuous sentence spans need to be developed for capturing the multi-sentence structure of individual sustainability initiatives. We release a new dataset of company reports in which the text has been manually annotated with sustainability initiatives. We also evaluate different models for initiative detection, introducing a novel aggregation and evaluation methodology. Our proposed architecture uses sequences of consecutive sentences to account for contextual information when making classification decisions at the individual sentence level.

研究の動機と目的

• 企業報告書における持続可能性イニシアチブはしばしば複数文にわたるが、単一文の分析を超える意味的理解が求められるため、その検出の課題に対処すること。
• 周辺の文を活用することで、イニシアチブスパン検出の正確性と一貫性を向上させる文脈的文分類フレームワークの開発。
• ベンチマーク用に、45件の企業報告書から抽出した192,978件の手動アノテート文を含む新規公開データセットの提供。
• 文脈長とラベル一貫性がモデル性能に与える影響、特にマルチセンテンスのイニシアチブに対しての影響を評価すること。
• 主観的または曖昧なケース（例：シングルトンイニシアチブ）を含む自動検出のスケーラビリティと限界を検討すること。

提案手法

• モデルは、連続する複数文のシーケンスをRoBERTaで同時にエンコードし、文の境界を明確にするために特別な区切りトークンを文の間に挿入する。
• 各入力文に対してマルチヘッド分類ヘッドを用い、予測時に周辺文脈に注目できるようにする。
• 条件付き確率場（CRF）を用いて文全体にわたるIOBESタグラベルを予測し、ラベルの一貫性を強制することでスパン境界検出を改善する。
• アノテート済みデータセット上でエンドツーエンドに微調整し、予測結果を連続するイニシアチブスパンに集約して評価する。
• 文脈ウィンドウサイズ（各側1または2文）を変化させた評価により、より大きな文脈で性能が向上することが示された。
• 予測スパンの正しさをゴールスタンダードアノテーションと照合するため、Min MatchとExact Matchという新しい評価手法を導入した。

実験結果

リサーチクエスチョン

• RQ1 マルチセンテンスの文脈を組み込むことで、単一文分類と比較して持続可能性イニシアチブの検出性能がどの程度向上するか？
• RQ2 CRFデコードによるラベル一貫性の強制は、イニシアチブスパン予測の正確性をどの程度向上させるか？
• RQ3 持続可能性イニシアチブ検出の最適な文脈ウィンドウサイズは何か？また、学習データ量のスケールに応じてどのように変化するか？
• RQ4 二値分類と多クラスIOBESラベル付けスキームの間で、精度、再現率、スパンレベルのF1性能にどのような差があるか？
• RQ5 より大きな学習データはモデルの汎化性能を向上させ、より長い文脈ウィンドウの活用を可能にするか？

主な発見

• 2文の文脈を用いたRoBERTaベースのモデルは、Exact Match指標で49.16のF1スコアを達成し、1文の文脈ベースライン（46.84 F1）を顕著に上回った。
• IOBESラベル付けにCRFデコードを適用することで、予測の一貫性が向上し、1文の文脈ベースラインと比較してExact Match F1が3.32ポイント向上した。
• モデルはマルチセンテンスのイニシアチブにおいて優れた性能を示し、文脈に依存するモデリングが正確なスパン検出に不可欠であることが明らかになった。
• 150万件のプライベートな追加学習データセットを追加することで、モデル性能が向上し、より長い文脈ウィンドウの活用が可能になり、F1スコアが上昇した。
• 二値分類モデルは高い精度を示したが、再現率が低く、マルチセンテンスのイニシアチブの予測において一貫性に欠けることが明らかになり、細分化されたラベル付けの利点が示された。
• 定性的な分析から、誤検出と見逃しは主にシングルトンイニシアチブで最も多く発生しており、これは本質的な主観性とアノテーションの疲弊が主な課題であることを示唆している。