[論文レビュー] Neural Deepfake Detection with Factual Structure of Text

Wanjun Zhong, Duyu Tang+6 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 24被引用数 4

ひとこと要約

本稿では、テキストの事実的構造（エンティティグラフとして表現）をグラフニューラルネットワークを用いて活用することで、文および文書表現を向上させる、グラフベースのディープフェイク検出モデルFASTを提案する。実験の結果、人為的および機械生成テキスト間の事実的構造の不一致を捉えることで、ニュース風およびウェブテキスト風のディープフェイクデータセットにおいて、RoBERTaベースのベースラインを著しく上回ることが示された。

ABSTRACT

Deepfake detection, the task of automatically discriminating machine-generated text, is increasingly critical with recent advances in natural language generative models. Existing approaches to deepfake detection typically represent documents with coarse-grained representations. However, they struggle to capture factual structures of documents, which is a discriminative factor between machine-generated and human-written text according to our statistical analysis. To address this, we propose a graph-based model that utilizes the factual structure of a document for deepfake detection of text. Our approach represents the factual structure of a given document as an entity graph, which is further utilized to learn sentence representations with a graph neural network. Sentence representations are then composed to a document representation for making predictions, where consistent relations between neighboring sentences are sequentially modeled. Results of experiments on two public deepfake datasets show that our approach significantly improves strong base models built with RoBERTa. Model analysis further indicates that our model can distinguish the difference in the factual structure between machine-generated text and human-written text.

研究の動機と目的

• 既存のディープフェイク検出モデルが粗い粒度の表現に依存しており、テキスト内の微細な事実的構造を捉えられていないという限界に対処すること。
• 人間が書いたテキストと機械生成テキストの間で、エラーのあるエンティティや文の整合性といった事実的構造の不一致が、区別可能な特徴量として機能するかどうかを調査すること。
• 内部的な事実的構造とWikipediaからの外部知識を統合するグラフベースの手法を開発し、ディープフェイク検出性能を向上させること。
• 標準的なトランスフォーマーに基づくモデルが達成可能な範囲を超えて、事実的構造の整合性をモデル化することで検出性能が向上することを示すこと。

提案手法

• 文書の事実的構造は、名前付きエンティティ抽出（NER）により抽出されたエンティティをノードとし、エンティティ間の意味的に関連する関係をエッジとするエンティティグラフとして表現される。
• ノード表現は、内部グラフ構造とWikipediaからの事前学習済みエンティティ埋め込みを組み合わせたグラフ畳み込みネットワーク（GCN）を用いて学習される。
• 文の表現は、各文内のノード表現を集約することで構築され、局所的な事実的整合性を捉える。
• 文書レベルの表現は、隣接する文の表現の整合性を逐次的にモデル化する再帰的メカニズムを用いて形成される。
• 最終的な予測は、合成された文書表現に分類器を適用することで行われ、エンドツーエンドの学習が可能になる。
• モデルは2つのデータセットで訓練される：GROVERが生成した偽ニュースデータセットと、GPT-2が生成したウェブテキストデータセットで、バイナリクロスエントロピー損失が使用される。

実験結果

リサーチクエスチョン

• RQ1 エンティティ整合性および文の整合性を測定することで、機械生成テキストと人間が書いたテキストを効果的に区別できるのか？
• RQ2 標準的なトランスフォーマーに基づくモデルと比較して、文書の事実的構造をモデル化することで、ディープフェイク検出性能がどの程度向上するのか？
• RQ3 Wikipediaベースのエンティティ埋め込みなどの外部知識の統合が、生成テキストにおける事実的不整合の検出をどの程度向上させるのか？
• RQ4 文の整合性を逐次的にモデル化することで、一見自然だが事実的に整合性のないディープフェイクの検出がどの程度改善されるのか？

主な発見

• 統計的分析により、機械生成テキストが人間が書いたテキストと比較して顕著に低いエンティティ整合性カウント（ECC）および文の整合性カウント（SCC）を示すことが確認され、事実的構造の不整合が生じていることが示された。
• 提案されたFASTモデルは、GROVERが生成したニュースデータセットおよびGPT-2が生成したウェブテキストデータセットの両方で、RoBERTaベースのベースラインを著しく上回る性能を達成した。
• アブレーションスタディの結果、グラフベースの事実的構造モデリングおよび外部知識の統合の両方が、性能向上に顕著な貢献をしていることが示された。
• モデル分析の結果、FASTは特にエンティティ遷移や文レベルの整合性の不整合を効果的に学習しており、これらは機械生成コンテンツの特徴であることがわかった。
• モデルは、フォーマルなニュースやインフォーマルなウェブテキストといった異なるテキストスタイルに対しても頑健であることが示され、広範な適用可能性を示した。
• 事実的構造モデリングの導入により、一見自然で整合性のあるが、あり得ないまたは整合性のない事実的主張（例：ユニコーンや四角い角を持つ動物）を含むディープフェイクの検出が可能になった。