[論文レビュー] OmniSapiens: A Foundation Model for Social Behavior Processing via Heterogeneity-Aware Relative Policy Optimization

Keane Ong, Sabri Boughorbel+10 more|arXiv (Cornell University)|Feb 11, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

HARPO は異種の行動タスク間で学習をバランスさせ、OmniSapiens-7B 2.0 を訓練します。10 の社会的行動タスクで最先端のマルチタスク性能を達成し、ゼロショット一般化も強力です。

ABSTRACT

To develop socially intelligent AI, existing approaches typically model human behavioral dimensions (e.g., affective, cognitive, or social attributes) in isolation. Although useful, task-specific modeling often increases training costs and limits generalization across behavioral settings. Recent reasoning RL methods facilitate training a single unified model across multiple behavioral tasks, but do not explicitly address learning across different heterogeneous behavioral data. To address this gap, we introduce Heterogeneity-Aware Relative Policy Optimization (HARPO), an RL method that balances leaning across heterogeneous tasks and samples. This is achieved by modulating advantages to ensure that no single task or sample carries disproportionate influence during policy optimization. Using HARPO, we develop and release Omnisapiens-7B 2.0, a foundation model for social behavior processing. Relative to existing behavioral foundation models, Omnisapiens-7B 2.0 achieves the strongest performance across behavioral tasks, with gains of up to +16.85% and +9.37% on multitask and held-out settings respectively, while producing more explicit and robust reasoning traces. We also validate HARPO against recent RL methods, where it achieves the most consistently strong performance across behavioral tasks.

研究の動機と目的

• 統合された人間の行動次元のモデリングを、タスクごとのサイロを超えて促進する。
• 異種の行動データを学習する際の不均衡な学習信号に対処する。
• マルチタスクの更新を平衡化する学習寄与を制御する強化学習手法を開発する。

提案手法

• HARPO を導入する：LLMs の RL における学習をタスクとサンプル間でバランスさせるオンポリシーのアドバantages modulation 機構。
• サンプルレベルおよびタスクレベルのアドバantage の大きさから寄与信号を計算する（式 6–7）。
• HARPO 処理済みアドバantages に構造化された、幾何学的に中心化した modulation 要因（式 8–10）を適用する。
• トレーニングを安定化させるため、慣性的に滑らかな modulation 要因と寄与信号（式 11）を用いる。
• HARPO を用いて base モデル Qwen2.5-Omni-7B で Human Behavior Atlas の 10 の行動タスクを OmniSapiens-7B 2.0 へ訓練する。
• GRPO、RLOO、RE++、GPG、その他のベースラインと比較して、マルチタスクおよび保持設定で評価する。

Figure 1: Sample count versus token reasoning length. Green indicates correct predictions, red indicates incorrect. HARPO induces more varied reasoning lengths for the respective tasks of (Top: HUM, Bottom: SAR), compared to GRPO.

実験結果

リサーチクエスチョン

• RQ1 HARPO は異種の行動タスク間の学習をバランスさせてマルチタスク性能を向上させるか？
• RQ2 HARPO は従来の推論RL手法と比較して保持されたデータセットやゼロショットの一般化を改善するか？
• RQ3 サンプルレベル vs. タスクレベルの modulation と慣性制御が学習の安定性と性能に与える影響は？

主な発見

Model	EMO	HUM	INT	PTSD	ANX	DEP	SEN	SAR	SOC	NVC	Avg. Rank
Gemma-3-4B	55.03	59.70	22.70	49.90	60.10	46.25	73.83	52.90	19.10	2.30	5.90
Qwen 2.5-Omni-7B	58.25	54.30	25.40	76.00	79.30	71.35	67.20	65.60	25.40	6.90	4.20
Qwen 2.5-VL-7B	54.08	58.30	24.90	75.50	63.10	63.80	50.50	51.10	23.10	9.80	5.60
Qwen 3-VL-8B-Instruct	57.66	66.76	38.00	92.70	42.29	51.62	69.70	63.67	24.94	13.95	4.00
OmniSapiens-7B RL	57.28	63.90	48.60	96.80	91.90	77.15	39.60	64.70	30.40	13.30	3.00
HumanOmniV2-7B	59.70	63.80	26.30	82.40	52.70	65.40	74.20	39.50	28.20	9.30	4.00
OmniSapiens-7B 2.0 (ours)	76.55	69.85	50.52	98.39	91.98	78.87	77.61	70.64	25.40	14.54	1.20
RLOO (baseline)	75.58	67.86	51.73	98.39	90.68	77.57	76.86	62.58	29.54	16.28	2.50
RE++ (baseline)	75.92	60.26	5.01	98.39	93.11	73.87	56.52	50.21	12.64	4.07	3.90
GPG (baseline)	77.70	69.28	54.21	98.39	90.40	78.40	75.77	45.96	27.93	12.79	2.50
GRPO (baseline)	76.45	27.56	49.90	98.39	90.40	77.64	77.51	53.58	23.30	11.00	3.30
HARPO (ours)	76.55	69.85	50.52	98.39	91.98	78.87	77.61	70.64	25.40	14.54	1.70

• OmniSapiens-7B 2.0 は 10 の行動タスク全体で最も強力な総合性能を発揮し、マルチタスク向上最大で +16.85%、保持データでの向上は +9.37%。
• HARPO 訓練モデルは GRPO のような批評家なし手法よりもタスク間で一貫した性能を示し、マルチタスク学習のバランスを示唆する。
• HARPO のゼロショット評価は AUT および SER で一般化が改善され、例として SER のゼロショット 72.11%（HumanOmniV2-7B の 62.74% に対して）。
• HARPO の推論跡はより明確で多様性があり、HUM および SAR のような実践的タスクでの正当化が GRPO より豊富。
• アブレーション研究は、構造化モジュレーションと慣性制御が性能と安定性にとって重要であることを確認した。

Figure 2: Example of reasoning traces on pragmatic tasks humour detection (HUM) (left) and sarcasm detection (SAR) (right). HARPO is observed to reflect more explicit and varied reasoning compared to GRPO, which defaults to minimal/ no reasoning.