[論文レビュー] DORA: Exploring Outlier Representations in Deep Neural Networks

Kirill Bykov, Mayukh Deb+3 more|arXiv (Cornell University)|Jun 9, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

DORAは、極端な活性化信号における活性化パターンを分析することで、異常な特徴を同定する新しい極端活性化（EA）距離測度を用いた、データに依存しないフレームワークを導入する。この手法は、ウォーターマークやアーティファクトなどの不正な概念を検出でき、EA距離が人間の認識と一致し、視覚モデルにおける望ましくない表現を効果的に特定することを示している。

ABSTRACT

Deep Neural Networks (DNNs) excel at learning complex abstractions within their internal representations. However, the concepts they learn remain opaque, a problem that becomes particularly acute when models unintentionally learn spurious correlations. In this work, we present DORA (Data-agnOstic Representation Analysis), the first data-agnostic framework for analyzing the representational space of DNNs. Central to our framework is the proposed Extreme-Activation (EA) distance measure, which assesses similarities between representations by analyzing their activation patterns on data points that cause the highest level of activation. As spurious correlations often manifest in features of data that are anomalous to the desired task, such as watermarks or artifacts, we demonstrate that internal representations capable of detecting such artifactual concepts can be found by analyzing relationships within neural representations. We validate the EA metric quantitatively, demonstrating its effectiveness both in controlled scenarios and real-world applications. Finally, we provide practical examples from popular Computer Vision models to illustrate that representations identified as outliers using the EA metric often correspond to undesired and spurious concepts.

研究の動機と目的

• 深層ニューラルネットワークが学習した意図しないまたは不正な概念を同定するための手法の不足に対処すること。
• トレーニングデータに依存せずに内部表現を分析する、データに依存しないアプローチの開発。
• DNNにおける学習済み表現間の類似性を測る、堅牢で解釈可能なメトリクスの構築。
• 現実世界のモデルにおけるアーティファクト、バイアス、バックドアに対応する異常表現の検出。
• フレームワークが人間の認識とどの程度一致するか、および制御された状況と現実世界のシナリオにおける有効性の検証。

提案手法

• 極端な活性化信号における活性化パターンに基づいて表現間の類似性を評価するための極端活性化（EA）距離測度を提案。
• 合成的に生成された活性化最大化信号（AMS）を用いて、元のデータにアクセスせずに表現の関係をデータに依存しない方法で分析可能にする。
• AMSを用いて特定のニューロンを最大に活性化するデータポイントを同定し、元のデータにアクセスせずに表現の挙動を分析可能にする。
• 表現アトラスを用いて、視覚モデルの各レイヤーにまたがる意味的に類似した表現を可視化およびクラスタリング。
• 制御された状況と現実世界の設定において、EA距離を人間の認識と機能的類似性と比較して検証。
• DORA（データに依存しない表現分析）と呼ばれるパイプラインにフレームワークを統合し、モデル内部の体系的探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データに依存しない手法が、DNNにおける不正または異常な概念を捉える表現を効果的に同定できるか。
• RQ2 EA距離測度が、ニューラル表現における概念的類似性の認識とどの程度一致するか。
• RQ3 EAが、ウォーターマークや色付きのバンドエイドといった既知のアーティファクトをどの程度効果的に検出できるか。
• RQ4 DNNにおける表現クラスタが、地理的領域や明示的なコンテンツを含む意味的コンセプトとどの程度対応するか。
• RQ5 EAメトリクスが、制御実験における埋め込まれた異常概念を検出するための堅牢なベースラインとして機能できるか。

主な発見

• EA距離測度は、特に背後にあるコンセプトが既知である場合、人間の概念的類似性認識と強く一致することが示された。
• DORAは、現実世界の視覚モデルにおいてウォーターマーク、色付きのバンドエイド、明示的なコンテンツに対応する表現を効果的に同定した。
• 制御された状況では、EAメトリクスが埋め込まれた異常概念を効果的に検出し、異常検出の信頼性の高いベースラインを確立した。
• 表現アトラスは、地理的地域や明示的なコンテンツを含む意味的に類似した表現のクラスタを明らかにした。
• フレームワークは、中国語の表意文字ウォーターマークやバンドエイドに対応するアーティファクトに反応するニューロンを同定し、それらが学習済み表現に存在することを確認した。
• アーティファクトが元のトレーニングデータに含まれていなくても、この手法は有効であることが示され、活性化パターンにおける不正な相関への感受性を示した。