[論文レビュー] Active Regression with Adaptive Huber Loss

Jacopo Cavazza, Vittorio Murino|arXiv (Cornell University)|Jun 5, 2016

Sparse and Compressive Sensing Techniques参考文献 9被引用数 3

ひとこと要約

本稿では、半教師ありマルチビューおよび多様体正則化設定下で、損失閾値を自己学習し、能動的にノイズのあるラベルをフィルタリングする、Huber損失回帰の正確で反復的でないアルゴリズムを提案する。この手法は、計算コストが低く、ハイパーパrameterチューニングが最小限で、ロバスト回帰において最先端の性能を達成する。

ABSTRACT

This paper addresses the scalar regression problem through a novel solution to exactly optimize the Huber loss in a general semi-supervised setting, which combines multi-view learning and manifold regularization. We propose a principled algorithm to 1) avoid computationally expensive iterative schemes while 2) adapting the Huber loss threshold in a data-driven fashion and 3) actively balancing the use of labelled data to remove noisy or inconsistent annotations at the training stage. In a wide experimental evaluation, dealing with diverse applications, we assess the superiority of our paradigm which is able to combine robustness towards noise with both strong performance and low computational cost.

研究の動機と目的

• 半教師あり学習とロバスト最適化を組み合わせることで、スカラー回帰におけるラベルのノイズと不足の課題に対処する。
• 従来の手法における反復的Huber損失最適化の計算非効率性を克服する。
• 手動での閾値選択の必要性を排除し、データ駆動的で適応的な方法でHuber損失パラメータξを学習する。
• トレーニング中に不一致またはノイズのあるアノテーションを能動的に特定・除去することで、モデルの汎化性能を向上させる。
• マルチビュー学習と多様体正則化を統合した包括的なフレームワークを構築し、より高いロバスト性と性能を実現する。

提案手法

• マルチビューおよび多様体正則化を含む一般的な半教師あり設定において、Huber損失を正確に最適化する閉形式解を提案する。
• 二次計画法や自己双対最小化のような反復的ソルバを避けるHuber損失回帰（HLR）アルゴリズムを導入する。
• 数値的一致性チェックに基づき、ノイズありまたは一貫性のないラベル付きサンプルを検出し、除外する能動的学習メカニズムを採用する。
• 計算複雑性を増加させることなく、トレーニング中にデータ駆動戦略を用いてHuber損失閾値ξを自動的に適応的に調整する。
• グラフラプラシアンに基づく多様体正則化とマルチビュー学習を活用し、未ラベルデータを効果的に活用して汎化性能を向上させる。
• 凸最適化を用いることで、外れ値の存在下でもグローバル収束性と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 半教師あり・マルチビュー・多様体正則化回帰フレームワークにおいて、反復的ソルバなしで正確なHuber損失最適化が達成可能か？
• RQ2 提案手法によるHuber損失の適応的閾値学習は、ノイズのあるラベルに対するロバストネスを向上させるのにどの程度有効か？
• RQ3 アノテーションが信頼できない状況下で、能動的ラベルフィルタリングが回帰性能をどの程度向上させるか？
• RQ4 多様な回帰タスクにおいて、精度・速度・ロバストネスの観点からHLRアルゴリズムは最先端手法と比較してどの程度優れているか？
• RQ5 本手法は、広範なハイパーパrameterチューニングを必要とせずに、さまざまなデータタイプや応用分野に一般化可能か？

主な発見

• HLRは、UCSD、MALL、PETS 2009のクラウドカウンティングデータセットで最先端の性能を達成し、MAEはそれぞれ1.99、3.36、0.819を記録し、GPR、RFR、MORRなどの手法を上回った。
• PETS 2009データセットでは、8つのシーケンスのうち7つで最も低いMAEを達成し、一部のシーケンスでは0.000のMAEを記録した（特定の方向に人が存在しないため）。
• UCSDではトレーニング時間が5.6秒、MALLでは6.5秒にとどまり、推論時間はそれぞれ0.4秒および0.5秒と非常に短く、高い効率性を示した。
• MALLデータセットでは、次に優れた手法（MORR）と比較してMAEが10%低減し、UCSDではMREが1.3%改善した。
• ハイパーパrameterチューニングが最小限で、ルールオブ Thumbの設定（T=3、λ=10⁻⁴、γ=10⁻⁵、Δξ=0.01）がすべてのベンチマークで強力な性能を発揮した。
• MAE、MSE、MREのすべての指標において、HLRはLSSVR、KRR、RR、CA-RR、MLRを常に上回り、Table Xでは最も良い結果を太字で示した。