[논문 리뷰] Unsupervised Domain Adaptation Learning Algorithm for RGB-D Staircase Recognition

Jing Wang, Kuangen Zhang|arXiv (Cornell University)|2019. 03. 04.

Elevator Systems and Control참고 문헌 15인용 수 10

한 줄 요약

이 논문은 5개의 합성곱층을 갖는 깊은 CNN을 사용하여 정적 계단의 레이블이 부여된 RGB-D 데이터셋에서 레이블이 없는 계단이행 데이터셋으로 지식을 전이하는 비지도 도메인 적응(UDA) 방법을 제안한다. 이 방법은 소스 도메인에서 100%의 정확도를 달성하고 타겟 도메인에서 80.6%의 정확도를 기록하여, 시각 장애인의 보조 주행 시스템에서 보조적인 데이터로 제한된 RGB-D 계단 인식에 효과적인 적응을 보여준다.

ABSTRACT

Detection and recognition of staircase as upstairs, downstairs and negative (e.g., ladder) are the fundamental of assisting the visually impaired to travel independently in unfamiliar environments. Previous researches have focused on using massive amounts of RGB-D scene data to train traditional machine learning (ML) based models to detect and recognize the staircase. However, the performance of traditional ML techniques is limited by the amount of labeled RGB-D staircase data. In this paper, we apply an unsupervised domain adaptation approach in deep architectures to transfer knowledge learned from the labeled RGB-D stationary staircase dataset to the unlabeled RGB-D escalator dataset. By utilizing the domain adaptation method, our feedforward convolutional neural networks (CNN) based feature extractor with 5 convolution layers can achieve 100% classification accuracy on testing the labeled stationary staircase data and 80.6% classification accuracy on testing the unlabeled escalator data. We demonstrate the success of the approach for classifying staircase on two domains with a limited amount of data. To further demonstrate the effectiveness of the approach, we also validate the same CNN model without domain adaptation and compare its results with those of our proposed architecture.

연구 동기 및 목표

• 보조 기술에서 계단 인식을 위한 제한된 레이블이 부여된 RGB-D 데이터 문제를 해결하기 위해.
• 다른 데이터 분포를 가진 도메인(예: 정적 vs. 이동 중인 계단) 간의 계단 검출 모델의 일반화 능력을 향상시키기 위해.
• 레이블이 부여된 소스 도메인(정적 계단)에서 레이블이 없는 타겟 도메인(계단이행)으로 지식을 효과적으로 전이하기 위해 비지도 도메인 적응을 활용하기 위해.
• 최소한의 인간 주석이 필요한 실제 레이블이 없는 RGB-D 데이터에 대해 도메인 적응된 CNN 모델의 성능을 평가하기 위해.

제안 방법

• RGB-D 입력 데이터의 특징 추출기로 5층의 피드포워드 합성곱 신경망(CNN)을 사용한다.
• 소스 도메인(정적 계단)과 타겟 도메인(계단이행) 간의 특징 분포를 정렬하기 위해 도메인 불변 특징 학습 전략을 적용한다.
• 소스 도메인의 레이블이 부여된 데이터와 타겟 도메인의 레이블이 없는 데이터를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 특징 추출기가 도메인 불변 표현을 생성하도록 유도하기 위해 도메인 적대적 훈련 구성 요소를 도입한다.
• 도메인 정합 후 분류 헤드를 사용하여 계단 유형(위로, 아래로, 부정)을 예측한다.
• 표준 CNN에 도메인 적응을 적용하지 않은 경우와의 비교를 통해 모델의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응이 타겟 도메인에 레이블이 전혀 없는 경우에 RGB-D 계단 인식 모델의 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 정적 계단에서 훈련된 CNN 기반 모델이 계단이행 데이터에서 테스트되었을 때 도메인 적응은 일반화 능력에 어떤 영향을 미치는가?
• RQ3 RGB-D 계단 인식에서 타겟 도메인에 레이블이 없는 경우에 도메인 적응을 사용할 경우와 표준 CNN을 사용할 경우의 성능 향상은 어느 정도인가?
• RQ4 실제 환경에서 다양한 종류의 계단에서 분류 정확도를 향상시키기 위해 도메인 불변 특징를 얼마나 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 도메인 적응 CNN은 레이블이 부여된 소스 도메인(정적 계단)에서 100%의 분류 정확도를 달성했다.
• 레이블이 없는 타겟 도메인(계단이행)에서는 80.6%의 분류 정확도를 기록하여, 도메인 적응을 적용하지 않은 기준 CNN보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험을 통해 도메인 적응이 타겟 도메인으로의 제로샷 일반화 성능 향상에 핵심 요소임을 확인했다.
• 적대적 특징 정합을 통해 정적 계단과 이동 중인 계단 데이터 간의 도메인 시프트를 효과적으로 감소시켰다.
• 결과적으로 비지도 도메인 적응이 실제 보조 시각 응용 분야에서 레이블이 제한된 상황에서도 고성능 인식을 가능하게 함을 보여주었다.
• 이 방법의 성공은 자원이 제한된 실세계 환경에서 강력한 시각 모델을 구현하기 위해 도메인 적응 기술의 잠재력을 입증한다.