[論文レビュー] PART: Pre-trained Authorship Representation Transformer

Javier Huertas‐Tato, Alejandro Martı́n+1 more|arXiv (Cornell University)|Sep 30, 2022

Authorship Attribution and Profiling被引用数 4

ひとこと要約

本稿では、同じ著者からの文書ペairを用いて学習する対照的自己教師あり学習モデルであるPART（Pre-trained Authorship Representation Transformer）を提案する。このモデルはゼロショット著者識別用の埋め込みを生成する。250名の未学習著者に対する著者識別において、72.39%のゼロショット正解率と86.73%のトップ5正解率を達成し、文学、ブログ、メールの多様な訓練データセットを用いることで、ドメイン外の書きかけのスタイルに対しても強力な一般化性能を示している。

ABSTRACT

Authors writing documents imprint identifying information within their texts: vocabulary, registry, punctuation, misspellings, or even emoji usage. Previous works use hand-crafted features or classification tasks to train their authorship models, leading to poor performance on out-of-domain authors. Using stylometric representations is more suitable, but this by itself is an open research challenge. In this paper, we propose PART, a contrastively trained model fit to learn extbf{authorship embeddings} instead of semantics. We train our model on ~1.5M texts belonging to 1162 literature authors, 17287 blog posters and 135 corporate email accounts; a heterogeneous set with identifiable writing styles. We evaluate the model on current challenges, achieving competitive performance. We also evaluate our model on test splits of the datasets achieving zero-shot 72.39\% accuracy when bounded to 250 authors, a 54\% and 56\% higher than RoBERTa embeddings. We qualitatively assess the representations with different data visualizations on the available datasets, observing features such as gender, age, or occupation of the author.

研究の動機と目的

• 著者識別の分野における手作業特徴量や教師ありモデルの限界を克服し、一般化可能でスタイルに敏感な表現を学習すること。
• 微調整なしでドメイン外の著者に一般化可能なゼロショット対応モデルを開発すること。
• 単一の表現空間を用いて、語、文、文書のレベルで一貫性のある著者埋め込みを生成すること。
• 性別、年齢、職業、ジャンルといったスタイル特徴を、定性的および定量的分析を通じて捉えられるかを評価すること。
• 訓練データの多様性とラベルバイアスが表現品質およびモデルの一般化性能に与える影響を調査すること。

提案手法

• モデルは、文書ペアを処理するためのLSTMヘッドを備えた事前学習済みTransformerエンコーダーを用いる。
• 対照的学習は、同じ著者の文書同士の埋め込み間のコサイン類似度を最大化し、異なる著者の文書同士の類似度を最小化することで実装される。
• 損失関数は、InfoNCE対照的目的に基づき、著者内類似度の向上と著者間非類似度の強化を最適化する。
• トークンレベル表現の平均プーリングにより文書レベルの埋め込みが得られ、異なるテキスト長に対しても一貫性のある表現が可能になる。
• 文学、匿名ブログ、企業メールを含む多様なコーパスを用いて、多様な書きかけのスタイルを捉えるために事前学習を行う。
• 最終的な著者埋め込みは、意味的コンテンツとは独立して、スタイル的特徴を捉える学習されたベクトル表現である。

実験結果

リサーチクエスチョン

• RQ1 明示的なラベルなしで、対照的自己教師あり学習が著者固有の表現を効果的に学習できるか？
• RQ2 訓練データに存在しない未学習の著者や書きかけのスタイルに、どの程度一般化できるか？
• RQ3 訓練データセット内のバイアスが、学習された著者埋め込みの品質および一般化性能に与える影響はいかほどか？
• RQ4 学習された埋め込みが、性別、年齢、職業、ジャンルといった意味のあるスタイル的属性を捉えられるか？
• RQ5 データ品質や表現のばらつきが異なる著者識別データセットにおいて、モデルのゼロショット評価性能はどの程度か？

主な発見

• 250名の未学習著者を含む統合評価データセットにおいて、72.39%のゼロショット正解率と86.73%のトップ5正解率を達成し、強力なゼロショット一般化性能を示した。
• 定性的分析により、埋め込みが著者および性別、年齢、職業、ジャンルといったスタイル的特徴ごとにクラスタリングされていることが確認され、意味のある表現学習が行われていることが示された。
• トークン表現の平均プーリングにより、異なるテキスト長に対しても文書レベルの埋め込みが高精度で一貫性を保っている。
• 高い性能を示す一方で、訓練データにおいてフィクションが文学で、学生状態がブログに過剰に存在するなど、代表されすぎたラベルにバイアスが生じており、データ表現の影響が埋め込み品質に及ぶことが示された。
• モデルの性能は、長距離のスタイル的依存関係を捉えるために必要な長いコンテキストを欠いているため、シーケンス長の制限に起因している。
• 著者らは、特に科学的論文やエッセイなど、代表されにくい分野からのデータを追加することで、モデルの頑健性と一般化性能が向上することを明らかにした。