[論文レビュー] Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation

De Cheng, Tongliang Liu+6 more|arXiv (Cornell University)|Jun 6, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、局所的なインスタンス同士の幾何学的類似性を活用して、インスタンス依存ラベルノイズ学習における遷移行列推定を安定化する多様体正則化手法を提案する。この手法は、合成および実世界のデータセットにおいて高いノイズ率下でも、先行手法を最大7.67%上回る最先端の性能を達成する。

ABSTRACT

In label-noise learning, estimating the transition matrix has attracted more and more attention as the matrix plays an important role in building statistically consistent classifiers. However, it is very challenging to estimate the transition matrix T(x), where x denotes the instance, because it is unidentifiable under the instance-dependent noise(IDN). To address this problem, we have noticed that, there are psychological and physiological evidences showing that we humans are more likely to annotate instances of similar appearances to the same classes, and thus poor-quality or ambiguous instances of similar appearances are easier to be mislabeled to the correlated or same noisy classes. Therefore, we propose assumption on the geometry of T(x) that "the closer two instances are, the more similar their corresponding transition matrices should be". More specifically, we formulate above assumption into the manifold embedding, to effectively reduce the degree of freedom of T(x) and make it stably estimable in practice. The proposed manifold-regularized technique works by directly reducing the estimation error without hurting the approximation error about the estimation problem of T(x). Experimental evaluations on four synthetic and two real-world datasets demonstrate that our method is superior to state-of-the-art approaches for label-noise learning under the challenging IDN.

研究の動機と目的

• ラベルノイズ学習における同定不能な状況下でインスタンス依存遷移行列（IDTM）を推定する課題に対処すること。
• 近似誤差を著しく増加させることなく、IDTMの推定誤差を低減すること。
• 実世界のデータセットにおける高いノイズ率下でも、分類器の一貫性と一般化性能を向上させること。
• 既存のノイズラベル学習フレームワークに容易に統合可能なプラグアンドプレイモジュールを開発すること。

提案手法

• 人間のラベリング行動に関する心理的・生理的証拠に基づき、幾何的仮定を提示する：「2つのインスタンスが近いほど、それらの遷移行列はより類似しているべきである」。
• 多様体埋め込みを用いてこの仮定を定式化し、k近傍法による類似度行列を用いて遷移行列推定を正則化する。
• 単一の全結合層を備えた遷移ニューラルネットワーク（TNN）を用い、インスタンス固有の遷移行列 $ T(\mathbf{x}) $ を予測する。この推定は多様体構造によって正則化される。
• 類似するインスタンス $ \mathbf{x}_i, \mathbf{x}_j $ の間で $ T(\mathbf{x}_i) $ と $ T(\mathbf{x}_j) $ の差が大きくなりすぎないよう罰則を課す多様体正則化損失を導入し、推定の分散を低減する。
• 分類器のエンドツーエンド学習には交差エントロピー損失を用い、推定された $ T(\mathbf{x}) $ を最適化中にノイズラベル補正に活用する。
• 一般化性能の向上と特徴空間内での非線形関係の捉え込みを目的として、線形版（MEIDTM）とカーネル版（kMEIDTM）の両方を提案する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス間の幾何学的類似性は、インスタンス依存遷移行列の推定を安定化させるために活用可能か？
• RQ2 $ T(\mathbf{x}) $ に多様体の滑らかさを強制することで、近似誤差を増加させることなく推定誤差を低減できるか？
• RQ3 本手法は高いノイズ率および複雑な実世界のラベルノイズ条件下でどのように性能を発揮するか？
• RQ4 本手法は、既存の最先端フレームワークに効果的にプラグインモジュールとして統合可能か？
• RQ5 多様体正則化と分類損失をバランスさせる最適なハイパーパrameter $ \lambda $ は何か？

主な発見

• 提案手法 kMEIDTM は、全ノイズ率においてベースラインのCE手法を2.55%から17.29%まで上回り、ノイズ率が高いほどその向上幅が増大する。
• 50%のノイズを伴うCIFAR-10では、2番目に優れた手法よりも4.69%の向上を達成し、極端なノイズ環境下でも高いロバスト性を示す。
• 実世界データセットであるClothing1MではDivideMixフレームワークを0.15%、Food101Nでは1.22%向上させ、プラグインモジュールとしての優れた一般化性能を示す。
• IDTMの推定誤差は学習過程で着実に減少し、最適化プロセスの有効性が裏付けられる。
• 最適なハイパーパrameter $ \lambda $ は約0.3であると判明し、高ノイズ下では性能に敏感に反応するが、低ノイズ下では安定している。
• カーネル版（kMEIDTM）は、全設定において線形版（MEIDTM）を0.06%から2.76%まで一貫して上回る性能を発揮する。