[論文レビュー] ResearchDoom and CocoDoom: Learning Computer Vision with Games

Aravindh Mahendran, Hakan Bilen+2 more|arXiv (Cornell University)|Oct 7, 2016

Human Pose and Action Recognition参考文献 6被引用数 14

ひとこと要約

本論文では、ゲームプレイ中に深度マップ、オブジェクトインスタンスマスク、自己移動量（ego-motion）などの詳細な3Dメタデータを抽出できるように改造されたDoomゲームエンジン「ResearchDoom」と、MS COCO形式のアノテーションを備えた50万枚の画像からなる大規模かつ事前アノテート済みデータセット「CocoDoom」を紹介する。このデータセットを用いることで、強化学習を除き、オブジェクト検出、セグメンテーション、深度推定、トラッキングのためのコンピュータビジョンモデルの学習と評価が可能となり、スケーラブルでエラーのない合成データのソースを提供する。

ABSTRACT

In this short note we introduce ResearchDoom, an implementation of the Doom first-person shooter that can extract detailed metadata from the game. We also introduce the CocoDoom dataset, a collection of pre-recorded data extracted from Doom gaming sessions along with annotations in the MS Coco format. ResearchDoom and CocoDoom can be used to train and evaluate a variety of computer vision methods such as object recognition, detection and segmentation at the level of instances and categories, tracking, ego-motion estimation, monocular depth estimation and scene segmentation. The code and data are available at http://www.robots.ox.ac.uk/~vgg/research/researchdoom.

研究の動機と目的

• コンピュータビジョン分野における大規模かつ正確にアノテートされた学習データの増加するニーズに対応すること。
• 強化学習を越えて、ビデオゲームからの合成データを直接用いてコンピュータビジョンモデルの学習と評価を可能にすること。
• 詳細なメタデータを事前に計算済みで、MS COCO形式に準拠したデータセットを提供することで、研究者の参入障壁を低減すること。
• Doomのようなビデオゲーム環境が、豊富な監視信号を備えた信頼性が高くスケーラブルな合成データのソースとして機能できることを示すこと。
• 既存のMS COCOベースのツールと互換性がある「即挿し」可能なデータセットを提供することで、合成データのコンピュータビジョン分野への広範な採用を促進すること。

提案手法

• オープンソースのChocolate Doomエンジンを拡張し、ゲームプレイ中にRGB画像、深度マップ、オブジェクトインスタンスマスク、自己移動量（ego-motion）などのフレームごとのメタデータを抽出する。
• 決定論的なゲームセッションを用いることで、実行間でのデータの完全な再現性を保証する。
• Doom IIの完全なプレイトゥルース3本分からデータを生成し、フレームをPNG形式で保存し、メタデータを構造化されたテキストファイルに記録する。
• オブジェクトアノテーションにMS COCO形式を適用し、インスタンスID、クラスラベル、ポリゴンベースのバウンディングボックスを含める。
• 2つのデータサブセットを生成する：「standard」（1/5のフレーム、8万枚の画像、30万件のアノテーション）と「full」（50万枚の画像、140万件のアノテーション）で、深度マップとピクセル単位のセグメンテーションを含む。
• 評価プロトコルの多様性をサポートするため、「run」と「episode」の2つのデータ分割を定義する。「episode」分割はマップ単位の分離により、より挑戦的な評価プロトコルとなる。

実験結果

リサーチクエスチョン

• RQ1 Doomのようなビデオゲーム環境は、コンピュータビジョンのための豊富で自動アノテートされた合成データのスケーラブルなソースとして機能できるか？
• RQ2 詳細なメタデータを備えた事前に記録されたゲームデータは、強化学習を除き、ビジョンモデルの直接学習をどの程度効果的に可能にするか？
• RQ3 CocoDoomは、実世界のデータセットと比較して、オブジェクト検出、インスタンスセグメンテーション、深度推定、トラッキングのベンチマークとしてどれほど有効か？
• RQ4 Doomのような一貫性があり制御可能なゲーム環境の使用は、コンピュータビジョン実験の信頼性と再現性を向上させるか？
• RQ5 合成データに深度情報とピクセル単位のセグメンテーションを含めることで、単眼深度推定およびセグメンテーションモデルの性能にどのような影響を与えるか？

主な発見

• CocoDoomデータセットの標準サブセットには約8万枚の画像と30万件のオブジェクトインスタンスアノテーションが含まれており、フルサブセットでは50万枚の画像と140万件のアノテーションが存在する。
• データセットには、決定論的ゲームプレイから高精度に抽出された深度マップ、オブジェクトマスク、自己移動量（ego-motion）などの詳細なメタデータが含まれている。
• トレーニング分割に100枚以上の画像が存在するオブジェクトカテゴリに絞り込み、94種類の異なるオブジェクトタイプが残った。
• マップ単位でトレーニング、検証、テストセットが分離されるエピソード分割は、ラン分割よりもより挑戦的な評価プロトコルを提供する。
• データセットはMS COCO形式と互換性があるため、既存のコンピュータビジョンパイプラインやベンチマークツールへの直接統合が可能である。
• 著者らは、ビデオゲームからの合成データが、多様なコンピュータビジョンモデルの学習と評価に、豊富でスケーラブルでエラーのない監視信号を提供できることを実証した。