[論文レビュー] From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation

Tianle Gu, Kexin Huang+7 more|arXiv (Cornell University)|Jan 28, 2026

Hate Speech and Cyberbullying Detection被引用数 0

ひとこと要約

UniModは多模态安全性モデレーションを高密度・多属性軌道学習へ再構築し、コンセンサスベースの監督パイプラインとマルチヘッド報酬モデルを用いて、少ないデータで最先端性能を達成します。

ABSTRACT

Safety moderation is pivotal for identifying harmful content. Despite the success of textual safety moderation, its multimodal counterparts remain hindered by a dual sparsity of data and supervision. Conventional reliance on binary labels lead to shortcut learning, which obscures the intrinsic classification boundaries necessary for effective multimodal discrimination. Hence, we propose a novel learning paradigm (UniMod) that transitions from sparse decision-making to dense reasoning traces. By constructing structured trajectories encompassing evidence grounding, modality assessment, risk mapping, policy decision, and response generation, we reformulate monolithic decision tasks into a multi-dimensional boundary learning process. This approach forces the model to ground its decision in explicit safety semantics, preventing the model from converging on superficial shortcuts. To facilitate this paradigm, we develop a multi-head scalar reward model (UniRM). UniRM provides multi-dimensional supervision by assigning attribute-level scores to the response generation stage. Furthermore, we introduce specialized optimization strategies to decouple task-specific parameters and rebalance training dynamics, effectively resolving interference between diverse objectives in multi-task learning. Empirical results show UniMod achieves competitive textual moderation performance and sets a new multimodal benchmark using less than 40\% of the training data used by leading baselines. Ablations further validate our multi-attribute trajectory reasoning, offering an effective and efficient framework for multimodal moderation. Supplementary materials are available at \href{https://trustworthylab.github.io/UniMod/}{project website}.

研究の動機と目的

• Sparseな二値ラベルを超えた安全性モデレーションを動機づけ、 multimodal evidence に基づく明示的推論を可能にする。
• ショートカット学習を避けるため、モデレーションを「証拠、モダリティ、リスク、ポリシー、回答」の多段階軌道へ変換する。
• 合意ベースのデータエンジンとスケーラブルな報酬モデルを通じて密な属性レベルの監督を提供する。
• 既存の多模态モデレーションベースラインに対してデータ効率と解釈性の利点を示す。

提案手法

• UniMod を導入し、属性推論軌道（Evidence, Modality, Risk, Policy, Answer）を備えた構造化モデレーションパラダイムを提示する。
• UniTrace を開発し、ノード特有の軌道ラベリングのために専門教員モデルを選択するコンセンサスベースのデータエンジンを構築する。
• UniRM を作成し、ヘッドごとの重みサブスペース分離と確率的ヘッドスケジューリングを備えたマルチヘッドスカラー報酬モデルを提供して安定した多次元報酬信号を得る。
• GRPO 最適化を安定化させ、中間の推論ステップに基づく意思決定を接地するために加法的報酬を採用する。
• SSSL 制約の下で UniReward（大規模な単一サンプル・単一ラベル・コーパス）で訓練し、ラウンドロビンと直交正則化を用いて干渉を抑制する。

実験結果

リサーチクエスチョン

• RQ1 dense で多属性の軌道監督は従来のスパース信号アプローチを超えて多模态モデレーションを改善できるか？
• RQ2 コンセンサスベースの教員アンサンブルはラベルノイズを低減し、推論トレースの品質を向上させるか？
• RQ3 マルチヘッド報酬モデルはSSSL下で安定して解釈可能な多次元評価を可能にするか？
• RQ4 構造化された推論軌道はデータ効率を改善し、テキストおよび画像モデレーションタスクで競争力のある性能を維持できるか？

主な発見

• UniModは主要なベースラインよりはるかに少ない訓練データで最先端の多模态モデレーションを達成（例：UniMod-3B は約18Kサンプル、他のベースラインは約87K〜123K） 。
• UniMod-3B および UniMod-7B は視覚中心タスクで既存のVLMベースガードを上回り、モダリティとリスク識別の面で優位を示す。
• UniRM は多次元報酬モデリングの新しいベンチマークを達成し、平均 UniReward スコア 88.68、単一パス推論（Forward=1）。
• アブレーション研究は、多属性軌道監督が意思決定のみの監督を上回り、事後報酬を追加すると結果が改善されることを示す（UniMod (Dynamic) > UniMod (Static)）。
• ヘッドごとの重みサブスペース分離は報酬ヘッド間の安定性を向上させ、確率的ヘッドスケジューリングはモデルサイズにより混合だが一般的に有利な効果をもたらす。