[論文レビュー] Learning by Minimizing the Sum of Ranked Range

Shu Hu, Yiming Ying+2 more|arXiv (Cornell University)|Oct 5, 2020

Machine Learning and Data Classification参考文献 38被引用数 12

ひとこと要約

本稿では、モデル出力のソート済み値を集約することで、頑健な学習目的関数を構築するための新規フレームワークである順位付け範囲の和（SoRR）を導入する。SoRRは凸関数の差（DC）として定式化され、DCAアルゴリズムを用いた効率的な最適化が可能である。本手法は、二値分類用のAoRRと多値ラベル学習用のTKMLという2つの新しい損失関数に応用され、合成データおよび実データ上での実験を通じて、ラベルノイズや外れ値に対して優れた頑健性を示した。

ABSTRACT

In forming learning objectives, one oftentimes needs to aggregate a set of individual values to a single output. Such cases occur in the aggregate loss, which combines individual losses of a learning model over each training sample, and in the individual loss for multi-label learning, which combines prediction scores over all class labels. In this work, we introduce the sum of ranked range (SoRR) as a general approach to form learning objectives. A ranked range is a consecutive sequence of sorted values of a set of real numbers. The minimization of SoRR is solved with the difference of convex algorithm (DCA). We explore two applications in machine learning of the minimization of the SoRR framework, namely the AoRR aggregate loss for binary classification and the TKML individual loss for multi-label/multi-class classification. Our empirical results highlight the effectiveness of the proposed optimization framework and demonstrate the applicability of proposed losses using synthetic and real datasets.

研究の動機と目的

• 従来の集約型および個別型損失関数の限界、例えば外れ値に敏感（最大値）であるか、少数グループに鈍感（平均）であるという点を是正すること。
• モデル出力の順位付け範囲を活用することで、頑健性と感受性の間を柔軟にバランスできる汎用的学習目的関数の開発。
• SoRRに基づく新しい損失関数、AoRRおよびTKMLの設計。これらは外れ値の影響を明示的に軽減しつつ、優れた一般化性能を維持することを目的としている。
• 提案損失関数の理論的保証の確立、特にキャリブレーション性および下界性の性質を含み、最適分類行動と整合することを保証。
• 多様なデータセット上で、さまざまなレベルのラベルノイズ下でのSoRRベース損失の頑健性および有効性を実験的に検証すること。

提案手法

• 実数の集合のソート済み値に対する新たな集約関数として、順位付け範囲の和（SoRR）を提案。これは上位k個と上位m個の値の和の差として定義される。
• SoRRを2つの凸関数の差（DCプログラミング）として表現し、凸関数の差のアルゴリズム（DCA）を用いた効率的最適化を可能にする。
• ヒンジ関数と双対変数を用いた等価な定式化を導出し、部分勾配法による微分可能最適化を可能にする。
• 二値分類用の新たな集約損失関数として、順位付け範囲の平均（AoRR）を導入。外れ値の割合が事前に分かっている場合、完全にその影響を排除可能である。
• 多値ラベル学習の特殊ケースとして、トップkマルチラベル（TKML）損失を提案。これは真のラベルが上位k位に順位付けされるよう明示的に促進する。
• 二段階最適化戦略を採用：まず双対変数（λ, λ̂）について最適化し、次にモデルパラメータθについて最適化。再定式化された問題の凸性を活用する。

実験結果

リサーチクエスチョン

• RQ1 順位付け範囲に基づく新しい学習目的関数は、標準的な集約損失関数と比較して、ラベルノイズや外れ値に対して頑健性を向上させることができるか？
• RQ2 SoRRに基づいて導出されたAoRR損失は、訓練データに外れ値が存在する状況で、二値分類においてどのように性能を示すか？
• RQ3 SoRRに基づくTKML損失は、正しいラベルの順位付けを優先することで、多値ラベル分類性能を効果的に向上させることができるか？
• RQ4 TKML損失と従来の多値ラベル損失との間には理論的関係があるか？また、下界性を満たしているか？
• RQ5 SoRRのDCAに基づく最適化フレームワークは、実際の最適化手法と比較して、収束性および効率性において優れているか？

主な発見

• MNISTデータセットにおいて、ラベルノイズが40%に達する状況でも、TKML損失はすべてのトップ-k正答率でベースラインのSVM αを上回り、トップ-1正答率で7%の向上を達成した。
• 40%のラベルノイズレベル下で、TKMLはトップ-1正答率75.00%を達成したのに対し、SVM αは68.32%にとどまり、データポイズニングや著しい誤差に対しても強い頑健性を示した。
• 外れ値の割合が事前に分かっている場合、合成実験による制御されたラベル反転実験で、AoRR損失が外れ値の影響を完全に排除できることを確認した。
• EmotionsおよびSceneデータセットでは、TKMLが最高のトップ-5正答率（それぞれ96.94%および95.01%）を達成し、LRおよびLSEPのベースラインを上回った。
• DCAで最適化されたSoRRフレームワークは、複数回のランダム実行において最小限の標準偏差を示し、安定的かつ効率的な収束を示した。
• 理論的分析により、TKMLが従来の多値ラベル損失の下界であることが確認され、その分類行動との整合性および多値ラベル学習への適正性が裏付けられた。