[논문 리뷰] Addressing Appearance Change in Outdoor Robotics with Adversarial Domain Adaptation

Markus Wulfmeier, Alex Bewley외 1명|arXiv (Cornell University)|2017. 03. 04.

Generative Adversarial Networks and Image Synthesis인용 수 15

한 줄 요약

이 논문은 외부 환경 로봇에서의 외관 변화 문제를 해결하기 위해 비대칭 도메인 적응(ADA) 프레임워크를 제안한다. 레이블이 없는 배포 도메인에 대한 지도 학습이 아닌, 레이블이 있는 학습 도메인(소스 도메인)과 레이블이 없는 배포 도메인(타겟 도메인) 간의 특징을 정렬하기 위해 비지도 도메인 적응을 사용한다. FCN-VGG16에 혼란 손실과 패치 단위의 판별자를 적용하여, 자율 주행의 자유 공간 세분화에서 성능 향상이 크게 이루어지며, 심한 주간-야간 도메인 이동 상황에서도 효과를 발휘한다.

ABSTRACT

Appearance changes due to weather and seasonal conditions represent a strong impediment to the robust implementation of machine learning systems in outdoor robotics. While supervised learning optimises a model for the training domain, it will deliver degraded performance in application domains that underlie distributional shifts caused by these changes. Traditionally, this problem has been addressed via the collection of labelled data in multiple domains or by imposing priors on the type of shift between both domains. We frame the problem in the context of unsupervised domain adaptation and develop a framework for applying adversarial techniques to adapt popular, state-of-the-art network architectures with the additional objective to align features across domains. Moreover, as adversarial training is notoriously unstable, we first perform an extensive ablation study, adapting many techniques known to stabilise generative adversarial networks, and evaluate on a surrogate classification task with the same appearance change. The distilled insights are applied to the problem of free-space segmentation for motion planning in autonomous driving.

연구 동기 및 목표

• 기상, 시간대, 계절 변화로 인한 외부 로봇의 성능 저하 문제를 해결한다.
• 외관 변화 문제를 지도 학습이 아닌 비지도 도메인 적응 문제로 재정의하여, 타겟 도메인 레이블 없이도 배포가 가능하도록 한다.
• 기존의 딥 네URAL 네트워크(예: AlexNet 및 FCN-VGG16)를 도메인 간에 안정적이고 일반화 가능한 프레임워크로 적응시킬 수 있도록 한다.
• 실제 로봇 응용 분야에서의 비대칭 학습의 안정성과 하이퍼파ram터 민감도를 조사한다.
• 운동 계획 수립에 핵심적인 복잡한 픽셀 수준의 세분화 작업에서 이 방법의 효과성을 입증한다.

제안 방법

• 도메인 판별자를 사용하여 소스 도메인과 타겟 도메인 간의 근본적 특징 분포를 정렬하기 위해 비대칭 도메인 적응(ADA)을 적용한다.
• 학습 안정성 향상과 인코더 내에서 지도 학습 및 비대칭 학습 목표 간 균형을 맞추기 위해 혼란 손실 목표를 사용한다.
• 세분화 작업에서 국소적 특징 정렬과 성능 향상을 향상시키기 위해 패치 단위의 판별자를 구현한다.
• 최적의 학습 설정을 규명하기 위해 대체 분류 작업(장소 인식)에서 광범위한 아블레이션 연구를 수행한다.
• 중간 네트워크 분할 레이어 및 지도 학습 웜업과 같은 정제된 통찰을 전체 스케일의 자유 공간 세분화 작업에 적용한다.
• 안정성 향상을 위해 기울기 클리핑과 철저한 하이퍼파ram터 튜닝을 수행하여 비대칭 학습의 불안정성을 완화한다.

실험 결과

연구 질문

• RQ1 외부 로봇 환경의 맥락에서 비대칭 도메인 적응을 어떻게 안정화하고 지도 학습 목표와 효과적으로 균형을 맞출 수 있는가?
• RQ2 딥 네트워크 내에서 도메인 판별자 분할 레이어를 최적의 위치에 둘 수 있는가?
• RQ3 패치 단위의 판별자와 같은 아키텍처 선택이 픽셀 수준의 세분화 작업 성능에 어떤 영향을 미치는가?
• RQ4 심각한 도메인 이동(예: 주간에서 야간 외관 변화) 상황에서 ADA가 성능 향상에 얼마나 기여하는가?
• RQ5 ADA는 정규화 요소로 작용할 수 있는가? 더 많은 레이블이 없는 데이터가 추가될 경우 원래의 소스 도메인 내에서도 성능 향상이 이루어지는가?

주요 결과

• 혼란 손실은 비대칭 도메인 적응에서 표준 GAN 손실에 비해 학습 안정성과 성능 향상에 뚜렷한 기여를 한다.
• 도메인 판별자 분할 레이어를 중간 네트워크 레이어에 둘 경우 최고의 성능을 기록하며, 이전 레이어에 둘 경우 성능 저하가 발생한다.
• 세분화 작업에서 패치 단위의 판별자가 글로벌 판별자보다 성능이 뛰어나며, 특징 수준의 정렬을 향상시킨다.
• ADA는 자유 공간 세분화에서 상당한 성능 향상을 이끌어내었으며, 기준 모델 대비 타겟 도메인에서 mIoU가 최대 15% 향상되었다.
• 소스 도메인 내에서도 더 많은 레이블이 없는 데이터가 추가될수록 성능 향상이 이루어지며, ADA가 정규화 요소로 작용함을 보여준다.
• 심각한 도메인 이동(예: 주간에서 야간) 상황에서도 ADA는 성능 향상을 가능하게 하지만, 손실 가중치를 잘못 설정할 경우 성능 저하가 발생할 수 있다.