[論文レビュー] Unsupervised Domain Adaptation Learning Algorithm for RGB-D Staircase Recognition

Jing Wang, Kuangen Zhang|arXiv (Cornell University)|Mar 4, 2019

Elevator Systems and Control参考文献 15被引用数 10

ひとこと要約

本論文は、静止した階段のラベル付きRGB-Dデータセットから、ラベルなしのエスカレーターのデータセットへ知識を転送するため、5層の畳み込みニューラルネットワーク（CNN）を用いた教師なしドメイン適応（UDA）手法を提案する。この手法は、ソースドメインで100%の精度を達成し、ターゲットドメインで80.6%の精度を示し、視覚的に障害がある利用者のための支援的ナビゲーションシステムにおける、ラベル付きデータが限られるRGB-D階段認識において、効果的な適応を実証した。

ABSTRACT

Detection and recognition of staircase as upstairs, downstairs and negative (e.g., ladder) are the fundamental of assisting the visually impaired to travel independently in unfamiliar environments. Previous researches have focused on using massive amounts of RGB-D scene data to train traditional machine learning (ML) based models to detect and recognize the staircase. However, the performance of traditional ML techniques is limited by the amount of labeled RGB-D staircase data. In this paper, we apply an unsupervised domain adaptation approach in deep architectures to transfer knowledge learned from the labeled RGB-D stationary staircase dataset to the unlabeled RGB-D escalator dataset. By utilizing the domain adaptation method, our feedforward convolutional neural networks (CNN) based feature extractor with 5 convolution layers can achieve 100% classification accuracy on testing the labeled stationary staircase data and 80.6% classification accuracy on testing the unlabeled escalator data. We demonstrate the success of the approach for classifying staircase on two domains with a limited amount of data. To further demonstrate the effectiveness of the approach, we also validate the same CNN model without domain adaptation and compare its results with those of our proposed architecture.

研究の動機と目的

• 支援的技術における階段認識のためのラベル付きRGB-Dデータが限られるという課題に対処すること。
• 異なるデータ分布（例：静止した階段 vs. 動く階段）を有するドメイン間で、階段検出モデルの一般化性能を向上させること。
• 教師なしドメイン適応を用いて、ラベル付きソースドメイン（静止した階段）からラベルなしターゲットドメイン（エスカレーター）へ、効果的な知識転送を可能にすること。
• 人為的アノテーションを最小限に抑えた、現実世界のラベルなしRGB-Dデータに対して、ドメイン適応されたCNNモデルの性能を評価すること。

提案手法

• RGB-D入力データの特徴抽出に、5層の順方向畳み込みニューラルネットワーク（CNN）を用いる。
• ドメイン不変特徴学習戦略を用いて、ソースドメイン（静止した階段）とターゲットドメイン（エスカレーター）間の特徴分布を一致させる。
• ソースドメインのラベル付きデータとターゲットドメインのラベルなしデータを用いて、エンドツーエンドでモデルを学習する。
• ドメインのズレを最小化するために、ドメイン対抗訓練のコンponentを導入し、特徴抽出器がドメイン不変の表現を生成するように促進する。
• ドメイン整合後、分類ヘッドを用いて階段の種別（上り、下り、ネガティブ）を予測する。
• ドメイン適応を施したモデルと、ドメイン適応なしの標準CNNを比較することで、両ドメインにおける性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン適応は、ラベルなしのターゲットドメインに対して、RGB-D階段認識モデルの性能を著しく向上させることができるか？
• RQ2 ドメイン適応を施した場合、静止した階段で学習したCNNベースのモデルが、エスカレーターのデータに対してテストされた際の一般化性能はどのように変化するか？
• RQ3 RGB-D階段認識において、ラベルなしターゲットドメインに対して、ドメイン適応を適用した場合と標準CNNを用いた場合の性能向上はどの程度か？
• RQ4 ドメイン不変特徴は、現実世界の異なる種類の階段において、分類精度をどの程度向上させることができるか？

主な発見

• 提案されたドメイン適応付きCNNは、ラベル付きソースドメイン（静止した階段）で100%の分類精度を達成した。
• ラベルなしターゲットドメイン（エスカレーター）では、80.6%の分類精度を達成し、ドメイン適応なしのベースラインCNNを著しく上回った。
• アブレーションスタディの結果、ドメイン適応がターゲットドメインへのゼロショット一般化性能向上の鍵要因であることが確認された。
• 対抗的特徴整合により、静止した階段と動く階段のデータ間のドメインシフトが効果的に低減された。
• 結果から、教師なしドメイン適応により、現実世界の支援的ビジョンアプリケーションにおいて、ラベル付きデータが限られる状況でも高精度な認識が可能であることが示された。
• 本手法の成功は、リソースが限られた現実世界の環境に、堅牢なビジョンモデルを展開するためのドメイン適応の潜在的可能性を浮き彫りにした。