[論文レビュー] Tuning computer vision models with task rewards

André Susano Pinto, А. И. Колесников+3 more|arXiv (Cornell University)|Feb 16, 2023

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

本論文は、事前学習済みのコンピュータビジョンモデルを強化学習報酬で調整することが、物体検出、パノプティックセグメンテーション、カラー化、画像キャプション生成などの特定のタスク使用状況への適合性を改善することを示している。

ABSTRACT

Misalignment between model predictions and intended usage can be detrimental for the deployment of computer vision models. The issue is exacerbated when the task involves complex structured outputs, as it becomes harder to design procedures which address this misalignment. In natural language processing, this is often addressed using reinforcement learning techniques that align models with a task reward. We adopt this approach and show its surprising effectiveness across multiple computer vision tasks, such as object detection, panoptic segmentation, colorization and image captioning. We believe this approach has the potential to be widely useful for better aligning models with a diverse range of computer vision tasks.

研究の動機と目的

• 複雑なビジョンタスクにおけるモデル予測と意図された使用法との不一致を是正する。
• 強化学習の報酬を活用して、タスク関連の性能を直接最適化する。
• 単純な2段階のパイプライン（MLE事前学習に続く報酬調整）が、さまざまなCVタスクで機能することを示す。
• タスク特有のアーキテクチャ変更を必要とせずに改善を示す。
• 視覚モデルに人間のフィードバックなど、より複雑な報酬を組み込む可能性を強調する。

提案手法

• データ分布を捉えるため、最大尤真推定（MLE）でモデルを事前学習する（MLEモデル）。
• タスク関連の報酬を最大化することで、Reinforceアルゴリズム（対数微分のトリック）を用いてMLEモデルをファインチューニングする。
• 勾配分散を低減するためにベースラインを用い、入力ごとに2つの出力をサンプリングして（reward(sample) - reward(baseline)）を評価する。
• 出力をシーケンスとして表現（例：境界ボックス、カラー チャンネル、キャプション）し、微分不能な報酬を最適化する。
• Panoptic Quality (PQ)、平均再現率、mean average precision (mAP)、CIDEr などのタスク固有の報酬と、カラーさなどのカスタム報酬を適用する。
• 二段階プロセスを維持する: (1) MLE事前学習、(2) 報酬ベースのチューニング、事前学習済みのサンプリング戦略を活用。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャを変更せずに、Reinforceを用いた報酬ベースのチューニングが、さまざまなビジョンタスクにおけるタスク使用と整合性を改善できるか。
• RQ2 報酬ベースの向上は、従来のタスク特有のトレーニング工夫や後処理法とどのように比較されるか。
• RQ3 単純で指標ベースの報酬で、境界ボックス・セグメント・色・キャプションといった複雑な出力を改善できるか。

主な発見

• パノプティックセグメンテーション: 報酬調整により COCO バリデーションで Panoptic Quality (PQ) が 43.1 から 46.1 に改善（512x512 入力）。
• 物体検出: 報酬ベースの調整で mAP が 39.2 から 54.3、AR@100 が 54.4 から 67.2 に増加；再現率に焦点を置いた調整は 68.4 に達する。
• カラー化: 報酬調整によりより鮮やかな色と色相の多様性が得られ、色の鮮やかさと色相エントロピー報酬が大幅に増加する。
• 画像キャプション生成: CIDEr スコアが ViT-B で 120.0 から 134.5、ViT-L で 121.7 から 138.7 に改善（COCO テスト分割）。
• 全タスクにおいて、報酬最適化は標準的なMLEトレーニングより意図した使用への整合性が向上することを示す。