[論文レビュー] Can lies be faked? Comparing low-stakes and high-stakes deception video datasets from a Machine Learning perspective

Mateus Karvat Camara, Adriana Postal+2 more|arXiv (Cornell University)|Nov 23, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本研究では、ゲーム番組からの低リスクの偽善動画で訓練された機械学習モデルが、実際の裁判の場面からの高リスクの偽善を効果的に検出できるかを調査している。Slowfastベースの深層学習モデルを用いた実験の結果、高リスクの偽善を分類する際、低リスクのデータで訓練したネットワークが高リスクのデータで訓練したネットワークを上回る性能を示した。これは、偽善の種類に概念的差異があるものの、実世界の偽善検出システムの訓練に低リスクのデータが有効である可能性を示唆している。

ABSTRACT

Despite the great impact of lies in human societies and a meager 54% human accuracy for Deception Detection (DD), Machine Learning systems that perform automated DD are still not viable for proper application in real-life settings due to data scarcity. Few publicly available DD datasets exist and the creation of new datasets is hindered by the conceptual distinction between low-stakes and high-stakes lies. Theoretically, the two kinds of lies are so distinct that a dataset of one kind could not be used for applications for the other kind. Even though it is easier to acquire data on low-stakes deception since it can be simulated (faked) in controlled settings, these lies do not hold the same significance or depth as genuine high-stakes lies, which are much harder to obtain and hold the practical interest of automated DD systems. To investigate whether this distinction holds true from a practical perspective, we design several experiments comparing a high-stakes DD dataset and a low-stakes DD dataset evaluating their results on a Deep Learning classifier working exclusively from video data. In our experiments, a network trained in low-stakes lies had better accuracy classifying high-stakes deception than low-stakes, although using low-stakes lies as an augmentation strategy for the high-stakes dataset decreased its accuracy.

研究の動機と目的

• 機械学習の観点から、低リスクと高リスクの偽善の間の概念的差異が実際の状況でも成立するかを評価すること。
• 低リスクの偽善データセットが、高リスクの偽善検出用モデルの訓練に利用可能かどうかを評価すること。
• 低リスクの偽善が、高リスクの偽善データセットにおけるデータ拡張としての有効性を調査すること。
• 2つの公開の動画ベースの偽善データセット、すなわち実生活の裁判（高リスク）とBox of Lies（低リスク）の間でモデルの性能を比較すること。
• 特に、分野におけるデータ不足を鑑み、今後の大規模な偽善検出データセット作成を支援する実証的証拠を提供すること。

提案手法

• 動画ベースの二値偽善分類に特化した、Slowfast畳み込みニューラルネットワークアーキテクチャが使用された。視覚的特徴のみを対象としている。
• 実験は2つの公開データセットを用いて実施された：実生活の裁判（RLT）、実際の裁判の場面から得られた高リスクのデータセット、およびゲーム番組から得られた低リスクのデータセットであるBox of Lies（BoL）。
• モデルはそれぞれのデータセットに対して独立して訓練・テストされたほか、クロストレーニングおよびデータ拡張の設定でも実験された。
• 性能評価は、複数の実験的設定において、真実の動画と偽善の動画の二値分類における正答率を用いて行われた。
• モデルの汎化能力を評価するため、低リスクのデータで訓練し高リスクのデータでテストする、およびその逆の組み合わせを比較した。
• 統計的分析では、異なる訓練・テストの組み合わせにおける正答率の比較を通じて、汎化性能およびデータ拡張効果を評価した。

実験結果

リサーチクエスチョン

• RQ1 低リスクの偽善データで訓練された機械学習モデルは、高リスクの偽善を効果的に分類できるか？
• RQ2 低リスクの偽善データをデータ拡張戦略として用いることで、高リスクの偽善検出性能が向上するか？
• RQ3 高リスクの偽善データセットと低リスクの偽善データセットで訓練したモデルの間で、顕著な性能差が生じるか？
• RQ4 高リスクの偽善データで訓練したモデルは、低リスクの偽善シナリオに一般化できるか？
• RQ5 データセット間の意味的または偶然的な差異（例：バイアス、データ量）が性能の変動を説明できるのか、それともその差異は偽善そのものの性質に起因するのか？

主な発見

• 低リスクの偽善データ（Box of Lies）で訓練したモデルは、高リスクの偽善（Real-life Trial）を分類する際、58.64％の正答率を達成した。これは、高リスクのデータで訓練したモデルが同じセットでテストした際の性能を上回った。
• 高リスクの偽善データ（Real-life Trial）にのみ基づいて訓練したモデルは、低リスクの偽善データでテストした際、55.92％の正答率を示したが、これは人間のベースライン正答率（54％）を下回っていた。
• 高リスクと低リスクのデータを1つの訓練セットに統合した場合、高リスクデータセット単体を使用した場合よりも性能が悪化した。これはドメインシフトに起因する負の干渉が生じている可能性を示唆している。
• 高リスクの偽善データ（Real-life Trial）をデータ拡張戦略として用いることで、低リスクの偽善データでの性能が著しく向上し、正答率は55.92％から62.87％に上昇した。
• 低リスクのデータで訓練したモデルは、高リスクのデータで58.64％の正答率を達成したが、高リスクのデータで訓練したモデルは低リスクのデータで55.92％の正答率にとどまった。これは、低リスクのデータが高リスク検出においてより情報量が多い可能性を示唆している。
• 低リスクと高リスクの偽善の間には概念的差異があるものの、結果から低リスクの偽善データが高リスクの偽善検出を向上させるために有効に活用できることを示しており、このようなデータが本質的に不適合であるという仮定に疑問を呈している。