[論文レビュー] From Indoor To Outdoor: Unsupervised Domain Adaptive Gait Recognition

Likai Wang, Ruize Han+2 more|arXiv (Cornell University)|Nov 21, 2022

Gait Recognition and Analysis被引用数 5

ひとこと要約

本論文は、ターゲットドメインのアノテーションなしで屋内データセットで訓練された歩行モデルを屋外の野生環境に適応させる非教師ありドメイン適応歩行認識（UDA-GR）手法を提案する。ドメイン拡張された歩行変換を用いてサンプルの不確実性を推定し、ファインチューニング中に不確実性正則化を適用することで、疑似ラベルからのノイズを低減し、新たに確立されたベンチマークで最先端の性能を達成した。既存手法よりもmAPが3.9%〜4.2%向上した。

ABSTRACT

Gait recognition is an important AI task, which has been progressed rapidly with the development of deep learning. However, existing learning based gait recognition methods mainly focus on the single domain, especially the constrained laboratory environment. In this paper, we study a new problem of unsupervised domain adaptive gait recognition (UDA-GR), that learns a gait identifier with supervised labels from the indoor scenes (source domain), and is applied to the outdoor wild scenes (target domain). For this purpose, we develop an uncertainty estimation and regularization based UDA-GR method. Specifically, we investigate the characteristic of gaits in the indoor and outdoor scenes, for estimating the gait sample uncertainty, which is used in the unsupervised fine-tuning on the target domain to alleviate the noises of the pseudo labels. We also establish a new benchmark for the proposed problem, experimental results on which show the effectiveness of the proposed method. We will release the benchmark and source code in this work to the public.

研究の動機と目的

• 制御された屋内環境で訓練された歩行認識モデルを現実の屋外環境に実用的に展開する課題に対処すること。
• ターゲットドメインのアノテーションなしで、屋内（ソース）から屋外（ターゲット）の歩行データへ移行を可能にする非教師ありドメイン適応フレームワークの開発。
• 屋内と屋外の歩行分布の大きなドメインギャップによって引き起こされる疑似ラベルの高ノイズを軽減すること。
• 新たに収集した屋外データセットであるDukeGaitと3つの公開データセットを用いて、UDA-GRのための新ベンチマークを確立すること。
• 研究を促進するため、ベンチマークとソースコードを公開すること。

提案手法

• ドメイン固有のデータ拡張を用いて、屋内サンプルから屋外の歩行変異をシミュレートし、不確実性推定用の変換済みシーケンスを生成する。
• 元のシーケンスとドメイン変換済みシーケンス間の特徴差違和を用いて、予測に対するモデルの信頼度を反映する不確実性を推定する。
• ターゲットドメインに疑似ラベル生成パイプラインを適用し、その後不確実性を考慮したファインチューニングを実施してノイズの高い予測を低減する。
• ターゲットドメインのファインチューニング中に不確実性正則化を適用し、高不確実性のサンプルを抑制することで誤り伝搬を低減する。
• 3段階のパイプラインとして、ソースドメインの事前学習、ターゲットドメインの疑似ラベル生成、不確実性正則化付きファインチューニングを統合する。
• 疑似ラベル生成にはクラスタリング（K-means/DBSCAN）を用いるが、不確実性を考慮した損失重み付けを組み込むことで性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非教師ありドメイン適応は、制限された屋内環境で訓練された歩行認識モデルを、複雑な屋外環境へ効果的に適応させることができるか？
• RQ2 歩行認識における大きなドメインシフトの状況下で、不確実性推定は疑似ラベリングのロバスト性をどのように向上させるか？
• RQ3 不確実性正則化は、ドメイン適応における疑似ラベルのノイズ低減にどのような影響を及ぼすか？
• RQ4 提案手法は、既存のUDA Re-IDおよび単一ドメイン歩行認識手法と比較して、クロス環境歩行認識においてどのように性能を発揮するか？
• RQ5 ソースドメインの品質（例：CASIA-B と OUMVLP）が UDA-GR の性能にどの程度影響を及えるか？

主な発見

• 提案手法である不確実性正則化付きUDA-GRは、新ベンチマークの4つのクロスドメイン設定すべてにおいて、最良のベースライン比でmAPが3.9%〜4.2%向上した。
• 不確実性正則化なしの疑似ラベリングは、ソースモデルの直接推論よりも性能が悪く、ターゲットの疑似ラベルに高いノイズが存在することを示している。
• 不確実性推定をソース学習時のみに統合しても限定的な向上が得られるが、ターゲットドメインのファインチューニングと組み合わせることで顕著な性能向上が得られる。
• 不確実性推定機構は、遮蔽や低識別性の歩行パターンを示すような困難なサンプルを、高い不確実性スコアを割り当てることで効果的に同定した。
• CASIA-Bで事前学習したモデルよりも、OUMVLPで事前学習したモデルの方がより良い一般化性能を示し、より大規模かつ多様なソースデータセットがクロスドメイン移行に寄与することを示した。
• 本手法は、UDA-GRベンチマークにおいて、すべての最先端の歩行認識およびUDA Re-ID手法を上回り、実世界への展開に有効であることを示した。