[論文レビュー] Decoupling "when to update" from "how to update"

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jun 8, 2017

Machine Learning and Algorithms参考文献 22被引用数 127

ひとこと要約

ノイズの多いラベルに対するロバスト性を高めるために、 disagreement のみで2つの予測子を更新するメタアルゴリズムを提案し、ノイズ付きラベルを用いた性別分類タスクで最先端の結果を示す。

ABSTRACT

Deep learning requires data. A useful approach to obtain data is to be creative and mine data from various sources, that were created for different purposes. Unfortunately, this approach often leads to noisy labels. In this paper, we propose a meta algorithm for tackling the noisy labels problem. The key idea is to decouple "when to update" from "how to update". We demonstrate the effectiveness of our algorithm by mining data for gender classification by combining the Labeled Faces in the Wild (LFW) face recognition dataset with a textual genderizing service, which leads to a noisy dataset. While our approach is very simple to implement, it leads to state-of-the-art results. We analyze some convergence properties of the proposed algorithm.

研究の動機と目的

• 監視付き深層学習におけるノイズ付きラベルの問題と、頑健なデータラベリング手法の必要性を動機づける。
• ラベルノイズを軽減するために、更新のタイミングを更新規則から分離するメタアルゴリズムを提案する。
• パーセプトンベースの設定に対する収束特性で理論的に基づく。
• 現実世界のノイズ付きラベルデータでの実証効果を示す（LFW からの名前ベース性別サービスを用いた性別分類）。
• 分布依存の収束性と線形予測子を超える拡張の可能性についての制限と展望を議論する。

提案手法

• 同じ仮説クラスから2つの予測子を維持するメタアルゴリズムを導入する。
• 2つの予測子が異なる例に対してのみ更新を行う（Update by Disagreement）。
• 異なるサブセットに適用された標準的な更新規則（例：パーセプトンやモーメンタム付き SGD）に基づく更新。
• Update by Disagreement 手順の疑似コードを提供する。
• アクティブラーニングとクエリ・バイ・コミッティに関連づけ、実用的な違い（完全なバージョン空間の維持はない）を指摘する。
• パーセプトロンを基礎学習器とした、線形分離可能でノイズ付きラベルの設定における理論的な収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズの下で Update by Disagreement アルゴリズムは収束するか？
• RQ2 ノイズなしのパーセプトロンと比べた収束速度はどうか、どのような仮定の下か？
• RQ3 初期化が収束の質と最適性に与える影響は？
• RQ4 合成データ以外の実データノイズラベルデータセットで堅牢な性能を達成できるか？
• RQ5 非線形予測子や実データ分布に対する収束保証の限界は？

主な発見

• 彼らの理論モデルの下で、ノイズなしのパーセプトロンの一定因子内の更新回数でアルゴリズムが収束する。
• 初期化は重要で、同一の初期予測子は更新を生じず、ランダム初期化は追加の仮定なしでは収束が最適でない可能性。
• 特定の分布では、線形分離可能なデータでも追加の初期化戦略を用いなければゼロ誤差に収束しない可能性がある。
• ノイズ付きラベルを用いたLFWベースの性別分類における実証結果は、ノイズレベルの異なる場合でも競合手法と比較して最先端のロバスト性を示す。
• ノイズ適応型の手法（例：s-model）と組み合わせると、ノイズが低下するにつれて性能が向上する可能性。
• 制御された実験は高いラベルノイズ率（最大40%）への耐性を示し、自然データでの良好な収束性を示唆する。