[論文レビュー] Recurrent Attention Models for Depth-Based Person Identification

Albert Haque, Alexandre Alahi+1 more|arXiv (Cornell University)|Nov 22, 2016

Video Surveillance and Tracking Methods参考文献 53被引用数 8

ひとこと要約

本稿では、強化学習を用いて判別的な時空間的領域に注目することで、深度動画のみを用いて個人を同定する再帰的アテンションモデルを提案する。4次元ボリューム的シグネイチャを学習することで、複数のデータセットで最先端の性能を達成し、歩行やバイオメカニカル特徴と関連する解釈可能な注目パターンを可視化する。

ABSTRACT

We present an attention-based model that reasons on human body shape and motion dynamics to identify individuals in the absence of RGB information, hence in the dark. Our approach leverages unique 4D spatio-temporal signatures to address the identification problem across days. Formulated as a reinforcement learning task, our model is based on a combination of convolutional and recurrent neural networks with the goal of identifying small, discriminative regions indicative of human identity. We demonstrate that our model produces state-of-the-art results on several published datasets given only depth images. We further study the robustness of our model towards viewpoint, appearance, and volumetric changes. Finally, we share insights gleaned from interpretable 2D, 3D, and 4D visualizations of our model's spatio-temporal attention.

研究の動機と目的

• RGBに依存しない環境や低照度環境における人物識別の課題に、深度データのみを用いて対処すること。
• 識別認識のための身体的形状と運動の独自の4次元時空間的シグネイチャを学習すること。
• クラス内変動、1クラスあたりの少数の学習例、視点・外観の変化といった課題を克服すること。
• ボリューム変化、遮蔽、多様な衣服や装飾品に対しても頑健なモデルの開発。
• 2次元、3次元、4次元空間における注目メカニズムの解釈可能な可視化の提供。

提案手法

• 時間的依存性をモデル化するためLSTMを用いた再帰的ニューラルネットワークを用いて、人物識別を強化学習のタスクとして定式化する。
• 高次元の深度動画入力から、小さな情報量の多い時空間的領域を選択するグリムプスベースのアテンション機構を採用する。
• 入力次元を低減し、ノイズを無視して判別的な領域に集中させるためにスパarsification技術を用いる。
• 畳み込みネットワークと再帰的ネットワークを組み合わせる：CNNエンコーダーがグリムプスを処理し、LSTMが時系列にわたって隠れ状態を維持する。
• ポリシーネットワークを用いて、どこに、いつ注目するかを決定し、正しく分類された場合に報酬を与える。
• 4次元の注目を2次元、3次元、4次元の可視化に投影し、モデルの挙動を解釈し、重要な判別的領域を特定する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アテンションモデルは、深度動画から4次元時空間的表現を学習し、人物識別に耐性を持つことができるか？
• RQ2 視点の変化、外観の変化、物体の持続といった困難な条件下でも、モデルの性能はどの程度か？
• RQ3 最小限の教師信号と1人あたりの少数の学習例で、最先端の性能を達成できるか？
• RQ4 モデルはどの時空間的領域に注目するのか？ それらは既知のバイオメカニカルな歩行特徴と一致するか？
• RQ5 2次元、3次元、4次元の注目可視化は、識別に寄与する解釈可能なパターンをどのように明らかにするか？

主な発見

• 4次元再帰的アテンションモデル（4D RAM）は、複数の公表済み深度ベースの人物識別データセットで最先端の性能を達成した。
• 3次元CNNや手作業で特徴を抽出したベースライン、RGB-D融合を用いた手法をすべて上回った。
• 同じ識別タスクにおいて、人間のベースライン性能を上回った。
• 注目可視化から、モデルが一貫して肩、股関節、足首といった重要な解剖学的領域に注目していることが明らかになった。これは、既知の歩行ダイナミクスと一致する。
• モデルは、男性における肩の回転や、女性における横方向の股関節のゆらぎといった周期的な運動パターンに注目し、これらは既知のバイオメカニカルな識別マーカーである。
• 帽子をかぶっている、バックパックを背負っている、物を携えているといった外観の変化や、視点の変化に対しても、モデルは頑健であることが示された。