[論文レビュー] The Importance of Suppressing Domain Style in Authorship Analysis

Sebastian Bischoff, Niklas Deckers+6 more|arXiv (Cornell University)|May 29, 2020

Authorship Attribution and Profiling参考文献 37被引用数 20

ひとこと要約

本稿では、著者分析における書きぶり表現のドメイン固有スタイルを抑えるためにドメイン敵対的訓練を提案し、文字トライグラム特徴量が著者スタイルとドメイン固有スタイルを著しく混同することを示している。この手法により、ドメインシフト下での正答率低下を55.4ポイントからわずか3.6ポイントにまで低減し、ヒューリスティックな特徴選択法を上回り、ドメインに依存しない頑健な著者特定を可能にした。

ABSTRACT

The prerequisite of many approaches to authorship analysis is a representation of writing style. But despite decades of research, it still remains unclear to what extent commonly used and widely accepted representations like character trigram frequencies actually represent an author's writing style, in contrast to more domain-specific style components or even topic. We address this shortcoming for the first time in a novel experimental setup of fixed authors but swapped domains between training and testing. With this setup, we reveal that approaches using character trigram features are highly susceptible to favor domain information when applied without attention to domains, suffering drops of up to 55.4 percentage points in classification accuracy under domain swapping. We further propose a new remedy based on domain-adversarial learning and compare it to ones from the literature based on heuristic rules. Both can work well, reducing accuracy losses under domain swapping to 3.6% and 3.9%, respectively.

研究の動機と目的

• 一般的に用いられる書きぶりスタイル特徴量（例：文字トライグラム頻度）が、著者固有のスタイルではなくドメイン固有のスタイルを意図せず捉え込んでいるかどうかを調査すること。
• 訓練とテストが異なるドメインで行われる場合、ドメインスタイルが著者特定モデルにどの程度汚染されるかを評価すること。
• 特徴学習中にドメイン固有の信号を抑えることで、ドメイン不変の書きぶりスタイル表現を学ぶ方法を開発すること。
• ドメイン敵対的訓練とヒューリスティックな特徴選択法を比較し、ドメインバイアスを低減しつつ著者識別性能を維持する能力を検証すること。
• 提案手法の頑健性を、ファンフィクションにおける異なるジャンルやフォンデーションなど、未観測のドメインにおいて検証すること。

提案手法

• ドメインシフトを明確に分離するために、固定された著者で訓練とテストのドメインを入れ替える新しい実験設定を導入した。
• ドメインラベルに対して不変な埋め込みを生成するよう、スタイルエンコーダーを促進するドメイン敵対的ヘッドを備えた深層ニューラルネットワークを採用した。
• バックプロパゲーション中に勾配反転を用い、エンコーダーがドメイン分類器の正答率を最小化しつつ、著者分類性能を最大化するように訓練した。
• テキストから書きぶりスタイル特徴量を抽出するスタイルエンコーダーを訓練し、その後に入力の元ドメインを予測するドメインディスクラミネーターを配置した。
• 二重目的（著者特定の正確性とドメイン予測の不正確性）を最適化することで、敵対的訓練を実施した。
• ドメインラベルとの相関が低い特徴量を選択するヒューリスティック手法と、敵対的訓練手法を比較した。

実験結果

リサーチクエスチョン

• RQ1 著者特定分析における従来の文字トライグラム特徴量が、著者スタイルを実際にどの程度反映しているのか、ドメイン固有スタイルとどの程度混同しているのか。
• RQ2 標準的な特徴セットを用いた場合、テストドメインが訓練ドメインと異なると、著者特定の性能がどの程度低下するのか。
• RQ3 ドメイン敵対的訓練は、ドメイン固有スタイル信号を効果的に抑制しつつ、著者固有スタイル表現を保持できるのか。
• RQ4 ドメインバイアス低減という観点から、ドメイン敵対的訓練とヒューリスティックな特徴選択法の性能を比較すると、どちらが優れているのか。
• RQ5 学習されたスタイル表現は、新しいジャンルやフォンデーションなど、未観測のドメインへどの程度一般化できるのか。

主な発見

• 文字トライグラムベースのモデルは、訓練とは異なるドメインでテストされた場合、著者特定正答率が最大で55.4ポイント低下し、ドメインスタイルと著者スタイルの混同が顕著であることが示された。
• 提案されたドメイン敵対的訓練手法により、ドメインシフト下での正答率低下がわずか3.6ポイントにまで低減され、標準的な特徴ベースモデルを著しく上回った。
• ドメイン相関が低い特徴量を選択するヒューリスティックな特徴選択法も、正答率低下を3.9%まで低減し、より少ない複雑性で優れた性能を示した。
• 敵対的およびヒューリスティックな両手法とも、ファンフィクションにおける新しいフォンデーションなど、未観測のドメインへの一般化性能が高く、正答率は約92%を維持した。
• ドメインディスクラミネーターの正答率は、未観測の著者とドメインで再訓練した際、エンコーダー1で51.6%、エンコーダー2で49.9%にまで低下し、ドメイン情報が効果的に抑制されていることが確認された。
• 本研究では、従来の書きぶりスタイル表現がドメインスタイルの干渉に対して極めて感受性が高く、トライグラム頻度が著者スタイルを信頼できる形で捉えているという仮定に疑問を呈した。