[論文レビュー] Playing for Data: Ground Truth from Computer Games

Stephan R. Richter, Vibhav Vineet+2 more|arXiv (Cornell University)|Aug 7, 2016

Advanced Neural Network Applications参考文献 30被引用数 151

ひとこと要約

本論文は、レンダリング通信を中断・傍受することで市販のゲームからピクセル精度の意味ラベルを抽出し、大規模なラベル付きデータセットを作成し、ゲームデータが実世界のセマンティックセグメンテーションモデルを改善し、手動ラベリングの作業量を削減することを示している。

ABSTRACT

Recent progress in computer vision has been driven by high-capacity models trained on large datasets. Unfortunately, creating large datasets with pixel-level labels has been extremely costly due to the amount of human effort required. In this paper, we present an approach to rapidly creating pixel-accurate semantic label maps for images extracted from modern computer games. Although the source code and the internal operation of commercial games are inaccessible, we show that associations between image patches can be reconstructed from the communication between the game and the graphics hardware. This enables rapid propagation of semantic labels within and across images synthesized by the game, with no access to the source code or the content. We validate the presented approach by producing dense pixel-level semantic annotations for 25 thousand images synthesized by a photorealistic open-world computer game. Experiments on semantic segmentation datasets show that using the acquired data to supplement real-world images significantly increases accuracy and that the acquired data enables reducing the amount of hand-labeled real-world data: models trained with game data and just 1/3 of the CamVid training set outperform models trained on the complete CamVid training set.

研究の動機と目的

• 手動データセットを超えた、屋外シーンの大規模でピクセル精度の意味ラベリングを動機づける。
• 商用ゲームが分散した多様でフォトリアリスティックなデータを提供し、セグメンテーションモデルの訓練に有効であることを示す。
• ゲームのソースコードへのアクセスなしに、迂回（detouring）ベースのパイプラインを開発し、永続的なオブジェクト署名を抽出する。
• フレーム間およびインスタンス間でラベルを自動的に伝搬させ、注釈付けを加速する。
• ゲーム由来データが実世界のセグメンテーション精度を向上させ、必要な実世界ラベルを削減することを示す。

提案手法

• デトーリングを用いてゲームからGPUへのレンダリングパイプラインを傍受し、レンダリングリソースの使用を記録する。
• メッシュ、テクスチャ、シェーダをハッシュ化して永続的に識別し、セッションを跨ぐ安定したオブジェクト署名を作成する。
• フレームあたり2回のパスをレンダリングする。従来のカラー パスと、ピクセルごとのメッシュ/テクスチャ/シェーダIDを符号化する第2パス。
• MTS（メッシュ-テクスチャ-シェーダ）を共有する領域で画像をパッチに分解し、意味単位を形成する。
• リソースを共有するパッチ間でラベルを自動的に伝搬させるため、アソシエーションルールマイニングを用いる。
• 迅速なラベル伝搬を備えた対話型注釈インターフェースを提供し、手動ラベリング時間を短縮する。

実験結果

リサーチクエスチョン

• RQ1 ソースコードへアクセスできない商用ゲームの画像について、ピクセル精度の意味ラベルを作成できるか？
• RQ2 合成ゲームデータは実世界の屋外データセットでのセマンティックセグメンテーション性能を改善するか？
• RQ3 ゲーム由来の注釈を活用して、実世界のラベリング作業をどれくらい削減できるか？
• RQ4 永続的なレンダリングリソース署名を用いた場合、ラベルは時間とインスタンス間でどの程度効果的に伝搬できるか？
• RQ5 ゲーム生成データが学習の頑健性に与える多様性と現実性の影響は何か？

主な発見

• 24,966 GTA5 フレームのラベルを49時間で作成し、ピクセル領域の98.3%をラベリングした。
• 伝搬による事前注釈領域は、MTSとルールを通じてデータセットの98.3%および累積ピクセル領域の73%をカバーした。
• ゲームデータと1/3 CamVidの訓練データを用いると、CamVidのMean IoUを3.9ポイント向上させる。
• ゲームデータと1/3 CamVidを合わせて訓練したモデルは、CamVidの全訓練データで訓練したモデルを上回る。
• KITTIでは、ゲームデータが実データのみの訓練と比較して2.6ポイント改善をもたらす。
• 実験全体を通じて、合成ゲームデータを用いた訓練は実データのみのベースラインより優れており、手動ラベリング負担を軽減する。