[論文レビュー] Signs in time: Encoding human motion as a temporal image

Joon Son Chung, Andrew Zisserman|arXiv (Cornell University)|Aug 6, 2016

Hand Gesture Recognition Systems参考文献 11被引用数 12

ひとこと要約

本論文では、動画シーケンス内の人体運動を、ConvNetsに適したコンパクトな時間的画像表現に変換するキネトグラム符号化を提案する。これにより、弱い（クリップレベルの）およびノイズの多い監視のもとで、短い手話ジェスチャーの認識と局所化が可能になる。本手法は、英国手話におけるジェスチャー局所化において、最先端の性能を達成し、従来の弱教師付き手法を上回り、最小限の監視のもとで強教師付き手法と同等の性能を示した。

ABSTRACT

The goal of this work is to recognise and localise short temporal signals in image time series, where strong supervision is not available for training. To this end we propose an image encoding that concisely represents human motion in a video sequence in a form that is suitable for learning with a ConvNet. The encoding reduces the pose information from an image to a single column, dramatically diminishing the input requirements for the network, but retaining the essential information for recognition. The encoding is applied to the task of recognizing and localizing signed gestures in British Sign Language (BSL) videos. We demonstrate that using the proposed encoding, signs as short as 10 frames duration can be learnt from clips lasting hundreds of frames using only weak (clip level) supervision and with considerable label noise.

研究の動機と目的

• 強い監視が利用できない長時間の動画クリップにおいて、短い時間的信号を認識・局所化すること。
• ConvNet処理に適した、空間的・時間的ダイナミクスを保持するコンパクトで学習可能な人体運動の表現を開発すること。
• 高レベルのラベルノイズを伴う弱教師付きクリップからのエンドツーエンドの手話ジェスチャー学習を可能にすること。
• ConvNetが明示的な局所化監視なしに、手話ジェスチャーのような複雑な時間的シーケンスを局所化できるかどうかを実証すること。

提案手法

• 身体のキーポoinト（手および頭部）の運動を、列方向に時間的に配置されたヒートマップに似た画像として符号化する。
• 2つのチャネルで16ビット精度でキーポイントの位置を保存し、1つのチャネルで8ビット精度で時間的速度（フレーム間差分）を符号化する。
• キーポイント座標の時系列を2次元画像として扱い、畳み込みフィルタの境界効果を低減するため、垂直方向に反転してキネトグラムを構築する。
• バッチ正規化を施した変更版のAlexNetアーキテクチャを用い、弱教師付きデータにおけるクラス不均衡に対処するため、重み付きバイナリクロスエントロピー損失で訓練する。
• データ拡張には、速度の変更、ランダムなキーポイント座標シフト、明るさのスケーリングを含め、耐性を向上させる。
• ラベルノイズが強い状況下でも訓練を安定化させるために、ゆっくりとした学習率（10⁻³から10⁻⁴）を用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ConvNetは、クリップレベルの弱教師付き監視のみを用いて、長時間の動画クリップ内に存在する短い複雑な時間的ジェスチャーを局所化できるか？
• RQ2 人体運動を、ConvNetベースの学習に適したコンパクトで判別力のある画像表現にどのように符号化できるか？
• RQ3 ノイズが多く、弱教師付きの監視が与えられたモデルが、手話ジェスチャー認識において、強教師付き手法の性能にどの程度まで近づけるか？
• RQ4 1つの統一された表現（キネトグラム）は、ジェスチャー認識のための空間的ポーズと時間的ダイナミクスの両方を効果的に符号化できるか？

主な発見

• 外部のBBCテストセットでは、マルチクラスジェスチャー局所化において62.7%のmAPを達成し、以前の最良の弱教師付き手法（17.8% mAP）を大きく上回った。
• 「winter」という単語に関しては、80.8%のmAPを達成し、[8]の強教師付き手法（50%）および[7]の弱教師付き手法（18%）を上回った。
• 12秒のクリップ内で、10フレーム（0.5秒）という非常に短いジェスチャーを高精度に局所化できた。これは、熟練者以外にはほとんど見えない状況でも同様に成立した。
• キネトグラム符号化により、ネットワークは明示的な局所化監視なしに、手の動きの方向や協調性といった時間的パターンを学習できた。
• 特にマルチモodalな設定において、弱教師付きデータでのみ学習されたにもかかわらず、強教師付きモデルと競争力のある性能を示した。
• 訓練データにおけるラベルノイズ（字幕の20–60%が実際に発話されていない）が、性能に顕著な悪影響を及ぼさなかった。これは、ノイズの多い監視に強いという特徴を示している。