[論文レビュー] Rank-N-Contrast: Learning Continuous Representations for Regression

Kaiwen Zha, Peng Cao+3 more|arXiv (Cornell University)|Oct 3, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、ターゲット値の順位に基づいてサンプルを対比することで、連続的で回帰に適した表現を学習する、新しいフレームワークであるRank-n-Contrast (RnC) を提案する。順位に配慮した対比損失を最適化することにより、RnC は学習された特徴が回帰ターゲットの連続的な順序を保持することを保証し、視覚、HCI、医療分野の5つの現実世界の回帰データセットにおいて、最先端の性能を達成するとともに、ロバストネス、データ効率、一般化性能が向上している。

ABSTRACT

Deep regression models typically learn in an end-to-end fashion without explicitly emphasizing a regression-aware representation. Consequently, the learned representations exhibit fragmentation and fail to capture the continuous nature of sample orders, inducing suboptimal results across a wide range of regression tasks. To fill the gap, we propose Rank-N-Contrast (RNC), a framework that learns continuous representations for regression by contrasting samples against each other based on their rankings in the target space. We demonstrate, theoretically and empirically, that RNC guarantees the desired order of learned representations in accordance with the target orders, enjoying not only better performance but also significantly improved robustness, efficiency, and generalization. Extensive experiments using five real-world regression datasets that span computer vision, human-computer interaction, and healthcare verify that RNC achieves state-of-the-art performance, highlighting its intriguing properties including better data efficiency, robustness to spurious targets and data corruptions, and generalization to distribution shifts. Code is available at: https://github.com/kaiwenzha/Rank-N-Contrast.

研究の動機と目的

• 回帰ターゲットの連続的性質を捉えることに、既存の回帰および表現学習手法に見られる限界を解決すること。
• 標準的な損失関数（例：L1、MSE）および対比学習手法（例：SupCon）が、特徴の学習が断片的であるため、順序付けられた連続的表現を生成できないことの特定。
• ターゲット値の連続的順序に整合した、回帰に適した表現を明示的に学習するフレームワークの開発。
• 提案手法が、多様な回帰タスクにおいて、性能、ロバストネス、データ効率、一般化性能の向上を実現することの実証。
• コンピュータビジョン、ヒューマンコンピュータインタラクション、医療分野をカバーする現実世界のデータセットを用いた、手法の有効性の検証。

提案手法

• バッチ内のサンプルをその真値ターゲット値に従って順位づける新しい損失関数、Rank-n-Contrast損失（ℒ_RnC）を提案する。
• 入力の類似性やラベルではなく、ターゲット空間における相対的順位に基づいて、ポジティブおよびネガティブなサンプルペアを構築する。
• 対比学習の原則を適用し、類似したターゲット順位を持つサンプルの特徴表現を近づけるように促進する。
• 埋め込み空間における表現の相対的順序が、ターゲット値の順序と一致するように保証し、連続性を強制する。
• 最終予測とは表現学習を分離し、RnCで学習された特徴に任意の回帰ヘッドを組み合わせられるようにする。
• 標準的な回帰ヘッドと組み合わせてℒ_RnC損失をエンドツーエンドで最適化し、既存の回帰パイプラインとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 回帰ターゲットの連続的順序を明示的に捉えることができる対比学習フレームワークを設計できるか？
• RQ2 ターゲット値の順位に配慮した表現を学習することは、標準的な損失関数と比較して、回帰性能の向上に寄与するか？
• RQ3 ベースライン手法と比較して、RnC はデータの汚染や誤ったターゲットに対してどれほどロバストか？
• RQ4 分布シフト下でのデータ効率および一般化性能において、RnC はどのように性能を発揮するか？
• RQ5 性能向上は、提案された損失関数に起因するものか、それとも単に訓練スキームの副作用に起因するのか？

主な発見

• RnC は、コンピュータビジョン、ヒューマンコンピュータインタラクション、医療分野をカバーする5つの現実世界の回帰データセットで、最先端の性能を達成している。
• 本手法は、標準的な回帰ベースラインと比較して、より少ない訓練サンプルで優れた性能を発揮する点で、顕著なデータ効率の向上を示している。
• RnC は、データの汚染や誤ったターゲットに対して優れたロバストネスを示し、分布シフト下でも性能を維持している。
• 未観測のターゲット値に対しても良好な一般化性能を示しており、連続的ターゲット空間に対する強いインダクティブバイアスを示している。
• アブレーションスタディの結果、性能向上はℒ_RnC損失に起因しており、RnC特徴に標準損失関数を適用しても性能向上が見られないことから、訓練スキームの影響ではないことが確認された。
• RnC のトレーニング時間は、標準的な対比学習（例：SupCon）と同等であり、顕著な計算オーバーヘッドがないことが示された。