[論文レビュー] Ranking-aware Reinforcement Learning for Ordinal Ranking

Aiming Hao, Chen Zhu+3 more|arXiv (Cornell University)|Jan 28, 2026

Recommender Systems and Techniques被引用数 0

ひとこと要約

RARLは順位付け対応の検証可能報酬と探索を改善するResponse Mutation Operationを備えた強化学習フレームワークとして、3つの序数ベンチマークで最先端の結果を達成する。

ABSTRACT

Ordinal regression and ranking are challenging due to inherent ordinal dependencies that conventional methods struggle to model. We propose Ranking-Aware Reinforcement Learning (RARL), a novel RL framework that explicitly learns these relationships. At its core, RARL features a unified objective that synergistically integrates regression and Learning-to-Rank (L2R), enabling mutual improvement between the two tasks. This is driven by a ranking-aware verifiable reward that jointly assesses regression precision and ranking accuracy, facilitating direct model updates via policy optimization. To further enhance training, we introduce Response Mutation Operations (RMO), which inject controlled noise to improve exploration and prevent stagnation at saddle points. The effectiveness of RARL is validated through extensive experiments on three distinct benchmarks.

研究の動機と目的

• 回帰およびランキングタスクにおける序数依存性をモデル化する必要性を動機付ける。
• 回帰精度とランキング整合性を同時に最適化する統一RLフレームワークを提案する。
• ポリシー最適化を導くための検証可能なランキング対応報酬を導入する。
• 探索を強化し、GRPOベースの訓練でエントロピー崩壊を回避するためのResponse Mutation Operation (RMO) を開発する。
• 顔面年齢推定、物体数え上げランキング、審美評価の3つの序数ベンチマークで最先端の性能を示す。

提案手法

• 検証可能報酬を用いた強化学習（RLVR）とGroup Relative Policy Optimization（GRPO）を採用して、学習された報酬モデルを持たずにポリシーを訓練する。
• ground truthの許容誤差delta内の精度を測定する回帰報酬を定義する。
• 長さ適合、ランキング整合性（Kendall’s Tau）、ランキング精度（Kendall’s Tau）を含むランキング報酬を構築する。
• 回帰・ランキング・フォーマットの目的を調整可能なラムダで重み付けした最終的なRanking-Aware Rewardに報酬を統合する。
• RMOを導入して低報酬の応答を高品質な参照に置換し、勾配信号を再活性化して探索を増加させる。
• 最初は回帰のみを最適化する2段階訓練戦略を適用し、その後RMOを有効化して回帰とランキングを共同最適化する。

Fig. 1 : Flowchart of proposed RARL. For a given image-question pair, our RARL model generates multiple reasoning-based responses. It is then optimized via policy gradient using ranking-aware verifiable rewards. Then, the response mutation operation is employed to reactivate gradient signals and esc

実験結果

リサーチクエスチョン

• RQ1 序数タスクに対して、回帰精度とランキング整合性を同時に最適化する統一RLフレームワークは実現可能か。
• RQ2 ランキング対応の検証可能報酬は、ノイズの多いラベルに対する相対的監督の有効性を示し、別個の監督と比較して最適化効率とモデル性能を向上させるか。
• RQ3 提案されたRMO機構はGRPOベースの訓練中のエントロピー崩壊を抑制し探索を強化するか。
• RQ4 RARLは顔面年齢推定、物体数え上げランキング、審美評価を含む多様な序数ベンチマークでどのように性能を示すか。
• RQ5 2段階訓練戦略は本設定における多目的最適化の安定化に有益か。

主な発見

• RARLは3つのベンチマークで最先端の結果を達成：顔面年齢推定（UTKFace）、物体数え上げランキング（COCO-REM）、審美評価（AVA）。
• 2段階訓練とRMOは、アブレイテッド版より性能を向上させ、MAEを低減し、複数の設定でランキング指標を向上させる。
• ランキング報酬だけでも強い序数性能を得られ、ノイズの多いラベルに対する相対監督の有効性が示される。
• 回帰報酬とランキング報酬を組み合わせると、いずれか一方を単独で用いるより高い性能を示し、統一目的の相乗効果を示す。
• RMOは勾配信号を再活性化し訓練を安定化させ、UTKFace実験での改良をもたらす。
• 7Bおよび3Bモデル変種を通じて、回帰精度（例：MAEの改善）とランキング指標（例：Kendall’s Tauおよび SRCC）の両方でベースラインと比較して大幅な增益を示す。