[論文レビュー] Outline Objects using Deep Reinforcement Learning

Zhenxin Wang, Sayan Sarcar+3 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Neural Network Applications参考文献 29被引用数 5

ひとこと要約

この論文では、セマンティック画像セグメンテーションを段階的決定のタスクとして扱うことで、オブジェクトを段階的にアウトラインする、最初の深層強化学習アプローチであるDeepOutlineを紹介する。グローバルな文脈と学習された位置マップによる正確な局所的空間的情報を組み合わせるDelta-Netを用いることで、DeepOutlineはCOCO val2017データセットにおける中型および大型の人物カテゴリで最先端の性能を達成し、既存の手法を上回る。また、密度予測タスクのための新しい分割統治フレームワークを提供する。

ABSTRACT

Image segmentation needs both local boundary position information and global object context information. The performance of the recent state-of-the-art method, fully convolutional networks, reaches a bottleneck due to the neural network limit after balancing between the two types of information simultaneously in an end-to-end training style. To overcome this problem, we divide the semantic image segmentation into temporal subtasks. First, we find a possible pixel position of some object boundary; then trace the boundary at steps within a limited length until the whole object is outlined. We present the first deep reinforcement learning approach to semantic image segmentation, called DeepOutline, which outperforms other algorithms in Coco detection leaderboard in the middle and large size person category in Coco val2017 dataset. Meanwhile, it provides an insight into a divide and conquer way by reinforcement learning on computer vision problems.

研究の動機と目的

• エンドツーエンドの完全畳み込みネットワークの性能を制限する、局所的境界の正確さとグローバルな文脈のバランスをとる課題に対処すること。
• 画像セグメンテーションが、人間のアウトライン描画に類似した段階的プロセスとしてモデル化可能かどうかを検討すること。
• 離散的アクションを用いてポリゴンの頂点を生成しながら、学習された位置マップを通じて空間認識を維持する強化学習フレームワークを開発すること。
• コンピュータビジョンにおける複雑な密度予測問題を解消するための新たなパラダイム、すなわち強化学習による分割統治を提供すること。

提案手法

• 本手法は、エージェントが深層Qネットワーク（DQN）を用いて、カスタムアクション空間に基づき、オブジェクトアウトラインの次の頂点を選択することで、セマンティックセグメンテーションを段階的決定プロセスとして定式化する。
• エージェントの行動をガイドするため、局所的空間的文脈とグローバルオブジェクト特徴を両方エンコードするエンドツーエンドで学習される位置マップが導入される。
• 差分マップを異なるスケールの特徴マップ間でモデル化することで、細粒度の空間的詳細を捉えるDelta-Netアーキテクチャが提案され、境界の正確さが向上する。
• エージェントは2つの状態で動作する：ペンアップ（新しいオブジェクトの選択）とペンダウン（境界のトレース）、状態マップはすでにセグメンテーションされた領域を動的に抑制する。
• 訓練には、予測マスクと正解マスクの間のIoU（オーバーラップ率）に基づくスパarsely密集した報酬が用いられ、正確なポリゴン完成を促進する。
• エンドツーエンドで深層強化学習を用いて訓練され、多様なオブジェクト形状やテクスチャにわたる一般化を向上させるための探索戦略が導入される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習を用いて、段階的かつ逐次的なアウトライン描画プロセスとして、セマンティック画像セグメンテーションを効果的にモデル化できるか？
• RQ2 離散的アクションと学習された位置マップのみを用いて、深層強化学習エージェントが高精度でオブジェクト境界を特定しトレースできるか？
• RQ3 グローバルな文脈と局所的空間的情報の統合が、強化学習ベースのセグメンテーションフレームワークにおける境界正確さに与える影響は何か？
• RQ4 セグメンテーションを部分タスクに分割する分割統治戦略は、エンドツーエンド学習と比較して、どの程度性能を向上させるか？

主な発見

• DeepOutlineは、COCO val2017データセットにおける中型および大型の人物カテゴリで、他の手法を上回り、検出リーダーボードで最先端の結果を達成した。
• 150,000回の有効な訓練ラウンドを経過した後、エージェントの誤ったアクションの割合が2％未満に低下し、強い学習収束性と信頼性を示した。
• Delta-Netによって学習された位置マップは、すでにセグメンテーションされた領域の応答を効果的に抑制し、エージェントが境界を再トレースしたり重複したりするのを防いでいた。
• ネットワークは初期の訓練段階でエッジ応答を優先するが、3万～8万ステップを経過してから内部エッジの抑制を開始し、空間的推論の段階的出現を示した。
• 失敗事例の主な原因は、小さなまたは細いオブジェクト部（例：指、足）、隣接するオブジェクト間の類似したテクスチャ、または同じクラスの重なった身体部位であった。
• 単純なアクション（頂点選択）と学習された空間的ポリシーを組み合わせることで、複雑な後処理や手作業特徴量を用いずに競争力のある性能が達成可能であることが示された。