[論文レビュー] Derivative Manipulation for General Example Weighting

Xinshao Wang, Elyor Kodirov+2 more|arXiv (Cornell University)|May 27, 2019

Industrial Vision Systems and Defect Detection参考文献 66被引用数 8

ひとこと要約

本稿では、ラベルノイズおよびデータのアンバランスにさらされたディープラーニングにおける柔軟で頑健な例の重み付けを直接的に作成するために、勾配の導関数を直接修正する新しいフレームワーク、Derivative Manipulation (DM) を提案する。正規化された導関数の大きさから定義される強調密度関数 (EDF) を用いることで、DM は従来の損失関数および重み付け関数を統合・置き換えし、最小限の複雑さで視覚および自然言語処理のタスクにおいて最先端の性能を達成する。

ABSTRACT

Real-world large-scale datasets usually contain noisy labels and are imbalanced. Therefore, we propose derivative manipulation (DM), a novel and general example weighting approach for training robust deep models under these adverse conditions. DM has two main merits. First, loss function and example weighting are common techniques in the literature. DM reveals their connection (a loss function does example weighting) and is a replacement of both. Second, despite that a loss defines an example weighting scheme by its derivative, in the loss design, we need to consider whether it is differentiable. Instead, DM is more flexible by directly modifying the derivative so that a loss can be a non-elementary format too. Technically, DM defines an emphasis density function by a derivative magnitude function. DM is generic in that diverse weighting schemes can be derived. Extensive experiments on both vision and language tasks prove DM's effectiveness.

研究の動機と目的

• 大規模なディープラーニングにおけるラベルノイズおよびデータのアンバランスに対処するための、従来の損失関数および例の重み付け手法の限界を解消すること。
• 損失関数の役割を再定式化し、それらが導関数を通じて暗黙的に例の重み付けを実行していることを示すこと。
• 損失関数の設計を回避するため、勾配の導関数を直接操作することで、統一的で柔軟なフレームワークを開発すること。
• 正規化された導関数の大きさ関数を通じて、強調モードおよび分散を直接制御することにより、容易な例、困難な例、または準困難な例に注目できるようにすること。
• 複雑なノイズ推定を必要とせず、さまざまなタスク、アーキテクチャ、最適化手法において DM の有効性を実証すること

提案手法

• 勾配（ログィットに関する導関数）の大きさを正規化することで、例レベルの重み付けを直接符号化する強調密度関数 (EDF) を定義する。
• 導関数の大きさの非線形変換を用いて、強調の分散を制御し、容易な例、困難な例、または準困難な例に焦点を当てる。
• 従来の損失関数および別個の重み付け方式を、微分可能性の導出を必要としないように、導関数そのものを直接設計することで置き換える。
• 全例にわたる総強調量が1に等しくなるように保つために、勾配正規化 (DN) を適用し、学習の安定性を維持する。
• 所望の強調特性を持つ EDF の設計のためのテンプレートとして、既存の確率密度関数 (PDF) を活用する。
• 損失勾配を操作された導関数に置き換えることで、標準的な学習パイプラインに DM を統合し、即挿し可能な使用を可能にする

実験結果

リサーチクエスチョン

• RQ1 勾配の導関数を、ディープラーニングにおける損失関数および例の重み付け方式の両方を統一的に置き換えるメカニズムとして使用できるか？
• RQ2 導関数の大きさを直接操作することで、従来の損失設計と比較して、ラベルノイズおよびクラスのアンバランスに対する頑健性がどのように向上するか？
• RQ3 DM は、タスク固有のハイパーパramータチューニングを必要とせず、さまざまなタスク、アーキテクチャ、最適化手法にどの程度一般化可能か？
• RQ4 実世界のラベルノイズ下で、複雑なノイズ推定や多目的最適化に依存する最先端の手法と比較して、DM は性能を上回ることができるか？
• RQ5 EDF における強調モードおよび分散が、さまざまな学習シナリオにおけるモデル性能にどのように影響を与えるか？

主な発見

• 実世界の無知的ラベルノイズを有する Clothing1M データセットにおいて、DM は 73.3% の精度を達成し、Joint Optimization (72.2%) や S-adaptation (70.3%) といった最先端手法を上回った。
• MARS データセットにおける動画検索タスクでは、時間的モデリングを用いていないにもかかわらず、DM は 84.3% の CMC-1 および 72.8% の mAP を達成し、OSM+CAA (84.7% CMC-1, 72.4% mAP) を上回った。
• IMDB 感情分類タスクでは、PV-DBOW と単一の 8 ニューロン隠れ層を用いた DM が、CCE や MAE といった標準損失関数と比較して優れた性能を示した。
• SGD や Adam といった異なる最適化手法、および ResNet-56 や GoogLeNet V2 といった異なるアーキテクチャにおいても、DM は一貫した優位性を示し、広範な互換性を示した。
• Forward や Masking、Joint Optimization が要請する重いノイズ遷移行列推定を不要とし、より単純でありながらも効果的な代替手法を提供した。
• アブレーションスタディにより、DM の性能がさまざまな強調モードおよび分散においても頑健であることが確認され、正規化 (DN) を適用しない場合でも、精度に顕著な低下が見られなかった。