[論文レビュー] Neural Relation Graph: A Unified Framework for Identifying Label Noise and Outlier Data

Jang-Hyun Kim, Sangdoo Yun+1 more|arXiv (Cornell University)|Jan 29, 2023

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、深層特徴埋め込み内の関係構造をモデル化することで、ラベルノイズと外れ値データを同時に検出する統合フレームワーク「Neural Relation Graph」を提案する。類似度と適合性スコアを用いてデータ関係グラフを構築することで、ImageNet、ESC-50、SST2の各ベンチマークで最先端の性能を達成し、スケーラブルでモデルに依存しないアルゴリズムとインタラクティブな可視化ツールを備えた。

ABSTRACT

Diagnosing and cleaning data is a crucial step for building robust machine learning systems. However, identifying problems within large-scale datasets with real-world distributions is challenging due to the presence of complex issues such as label errors, under-representation, and outliers. In this paper, we propose a unified approach for identifying the problematic data by utilizing a largely ignored source of information: a relational structure of data in the feature-embedded space. To this end, we present scalable and effective algorithms for detecting label errors and outlier data based on the relational graph structure of data. We further introduce a visualization tool that provides contextual information of a data point in the feature-embedded space, serving as an effective tool for interactively diagnosing data. We evaluate the label error and outlier/out-of-distribution (OOD) detection performances of our approach on the large-scale image, speech, and language domain tasks, including ImageNet, ESC-50, and SST2. Our approach achieves state-of-the-art detection performance on all tasks considered and demonstrates its effectiveness in debugging large-scale real-world datasets across various domains. We release codes at https://github.com/snu-mllab/Neural-Relation-Graph.

研究の動機と目的

• 複雑で重複する問題を伴う大規模で現実世界のデータセットにおけるラベルノイズと外れ値データの特定という課題に対処すること。
• ラベル誤りとデータ外れ値を区別できないユニタリスコア法の限界を克服すること。
• ラベル誤りと分布外（OOD）データの共同検出を可能にするスケーラブルでモデルおよびドメインに依存しないフレームワークの開発。
• 特徴空間における文脈的関係パターンを明らかにする解釈可能な可視化ツールを提供し、人間が関与するデータ診断を支援すること。

提案手法

• ノードがデータポイントを表し、エッジが特徴埋め込み間の類似度と適合性を符号化する関係グラフを構築する。
• 類似度カーネル（例：コサインまたはRBF）と適合性項を組み合わせて、関係強度を測るデータ関係関数を定義する。
• 温度正則化付きのグラフ集約を用いて、各データポイントのグローバルな関係統計（平均と分散）を計算する。
• ラベルに割り当てられたデータポイントの関係における分散が大きいものとしてラベル誤りを特定する。
• 全グラフ構造全体にわたる関係的一致性が低いデータポイントとして外れ値を特定する。
• 各サンプルの関係の平均と分散を表示するデータ関係マップ可視化ツールを導入し、インタラクティブな診断を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴埋め込み空間における関係構造は、ユニタリスコア法が失敗する状況でも、ラベル誤りと外れ値を効果的に区別できるか？
• RQ2 提案手法の関係グラフアプローチは、既存のユニタリスコア法と比較して、ラベルノイズとOODサンプルの検出においてどの程度優れているか？
• RQ3 類似度カーネルと適合性項の選択が、多様なドメインにわたる検出性能にどの程度影響を与えるか？
• RQ4 異なるモデルアーキテクチャおよびデータモダリティ（画像、音声、テキスト）にわたって一般化可能か？
• RQ5 提案された可視化ツールは、人間が関与するデータ診断をどの程度効果的に支援できるか？

主な発見

• 提案手法は、ラベル誤り検出において最先端の性能を達成し、8%のノイズ比下でImageNetでAP 0.526を達成。最良のベースラインより5.2%優れている。
• 同じImageNetベンチマークにおいて、TNR95が0.695を達成。最良のベースライン（0.668）を顕著に上回り、より優れたロバストネスを示している。
• ESC-50およびSST2の両方でOOD検出において最先端の性能を達成し、高いAUCとF1スコアを達成。マルチモダリティへの一般化を確認した。
• アブレーションスタディの結果、カーネル関数における適合性項が性能に極めて重要であることが判明。適合性項を除去しても依然として高い性能を示し、フレームワークの堅牢性を強調している。
• データ関係マップ可視化は、明確な関係的パターン（例：ラベル誤りでは分散が高く、外れ値では一貫性が低い）を効果的に明らかにし、正確でインタラクティブな診断を可能にしている。
• 本手法はスケーラブルでモデルに依存せず、再訓練や勾配計算を必要としない。特徴埋め込みと予測結果のみを入力とすることで、実世界のMLパイプラインへの統合が容易である。