[論文レビュー] RSA: Randomized Simulation as Augmentation for Robust Human Action Recognition

Yi Zhang, Xinyue Wei+4 more|arXiv (Cornell University)|Dec 3, 2019

Human Pose and Action Recognition参考文献 49被引用数 7

ひとこと要約

本論文では、制御された3次元シミュレーションから生成された大規模かつランダム化された合成動画を用いて、実際の動画データセットを拡張することで、人間の行動認識におけるロバスト性を向上させるフレームワーク「ランダム化シミュレーションによる拡張（RSA）」を提案する。ドメイン適応技術（微調整およびドメイン敵対的学習など）を活用することで、NTU RGB+DおよびVIRATデータセットにおいてI3Dモデルの性能が著しく向上し、ラベル付き実データへの依存度が低下し、特に困難な監視データでは最大9.09%の精度向上を達成した。

ABSTRACT

Despite the rapid growth in datasets for video activity, stable robust activity recognition with neural networks remains challenging. This is in large part due to the explosion of possible variation in video -- including lighting changes, object variation, movement variation, and changes in surrounding context. An alternative is to make use of simulation data, where all of these factors can be artificially controlled. In this paper, we propose the Randomized Simulation as Augmentation (RSA) framework which augments real-world training data with synthetic data to improve the robustness of action recognition networks. We generate large-scale synthetic datasets with randomized nuisance factors. We show that training with such extra data, when appropriately constrained, can significantly improve the performance of the state-of-the-art I3D networks or, conversely, reduce the number of labeled real videos needed to achieve good performance. Experiments on two real-world datasets NTU RGB+D and VIRAT demonstrate the effectiveness of our method.

研究の動機と目的

• 視点、照明、背景などの不要要因による行動認識におけるクラス内変動の高い問題に対処すること。
• 大規模かつ高価な実世界の動画アノテーションに依存することを減らすために、合成データ生成を活用すること。
• 効果的なドメイン適応戦略を通じて、合成動画と実動画のドメイン間のギャップ（現実性のギャップ）を埋めること。
• 多様な不要要因の条件下でも、最先端のI3Dネットワークの一般化性能とロバスト性を向上させること。
• 合成データ拡張が、強力な性能を達成するために必要なラベル付き実動画の数を顕著に削減できることを示すこと。

提案手法

• モーションキャプチャライブラリ、RGB-D動画、または単眼3次元ポーズ推定から得た3次元人体運動を用いて、大規模な合成動画データを生成する。
• レンダリング段階でカメラの視点、背景、アクターの外見などの不要要因をランダム化することで、ドメインの多様性を向上させる。
• 実データと合成データの両方を用いて3次元畳み込みニューラルネットワーク（I3D）を訓練することで、ロバスト性を向上させる。
• 2つのドメイン適応戦略を適用する：(1) 合成データで事前学習した後、実データで微調整する方法、(2) フィーチャー分布の乖離を最小化するドメイン敵対的学習。
• 実データと合成データの両ドメインからの特徴を一致させることで、ドメインシフトを低減するドメイン敵対的学習を活用する。
• 動画における時間的整合性を活用することで、RGBまたはRGB-D入力からのモーションキャプチャにおける3次元ポーズ推定の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ランダム化された不要要因を含む合成動画データは、実世界の変動に対する行動認識モデルのロバスト性を向上させることができるか？
• RQ2 ドメイン適応は、合成動画ドメインと実動画ドメインの間の現実性ギャップをどれほど効果的に軽減できるか？
• RQ3 合成データは、高い性能を達成するために必要なラベル付き実動画の数をどの程度削減できるか？
• RQ4 提案手法は、VIRATのような困難でリソースが限られたデータセットに対しても一般化可能か？
• RQ5 微調整とドメイン敵対的学習のどちらのドメイン適応戦略が、クロスドメイン行動認識においてより優れた性能を示すか？

主な発見

• VIRATデータセットでは、ドメイン敵対的学習を用いたRSAにより、実データのみでの精度46.01%から55.10%へと9.09%の向上を達成した。
• NTU RGB+Dでは、実データのみでの学習に比べ、RSAがI3Dの性能を向上させ、多様な不要要因の下でもロバスト性の向上を示した。
• VIRATにおいては、ドメイン敵対的学習が微調整を上回った。これは、微調整に十分な実データが不足しているためと考えられる。
• 合成データのみで学習したモデルが、特定のクラス（「入室」や「開錠」など）で実データのみでの学習を上回った。これは、現実性ギャップが存在しても有用な特徴が学習可能であることを示している。
• RSA-DAでは、すべての行動クラスのF1スコアが向上し、特に「入室」と「退室」で最大の向上を示した。これらは通常認識が難しいとされるクラスである。
• LOSOスプリットの実験では、精度が52.97%から46.01%へと6.96%低下した。これは、不要要因の変動が引き起こす著しい課題を確認した。