[논문 리뷰] Improving Generalization of Transfer Learning Across Domains Using Spatio-Temporal Features in Autonomous Driving

Shivam Akhauri, Laura Zheng외 2명|arXiv (Cornell University)|2021. 03. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 9

한 줄 요약

이 논문은 자율주행을 위한 이중 단계 전이학습 프레임워크를 제안하며, CNN-LSTM 아키텍처를 통해 시공간 특징을 전이하고, 주목성, 기울기, 에지 맵을 활용해 훈련을 강화함으로써 도메인 간 일반화 성능을 향상시킨다. 제안된 방법은 기존 최고 성능(SOTA) 기준 대비 시뮬레이션 및 실제 도메인에서 각각 최대 37.3% 높은 테스트 정확도와 40.8% 향상된 조향 각도 예측 성능을 달성한다.

ABSTRACT

Practical learning-based autonomous driving models must be capable of generalizing learned behaviors from simulated to real domains, and from training data to unseen domains with unusual image properties. In this paper, we investigate transfer learning methods that achieve robustness to domain shifts by taking advantage of the invariance of spatio-temporal features across domains. In this paper, we propose a transfer learning method to improve generalization across domains via transfer of spatio-temporal features and salient data augmentation. Our model uses a CNN-LSTM network with Inception modules for image feature extraction. Our method runs in two phases: Phase 1 involves training on source domain data, while Phase 2 performs training on target domain data that has been supplemented by feature maps generated using the Phase 1 model. Our model significantly improves performance in unseen test cases for both simulation-to-simulation transfer as well as simulation-to-real transfer by up to +37.3\% in test accuracy and up to +40.8\% in steering angle prediction, compared to other SOTA methods across multiple datasets.

연구 동기 및 목표

• 다양한 도메인 간 공 invariant 시공간 특징을 활용하여 엔드 투 엔드 자율주행에서 발생하는 도메인 이동 문제를 해결한다.
• 시각 분포가 크게 다를 수 있는 시뮬레이션에서 실제 도로 주행 시나리오로의 일반화 성능을 향상시킨다.
• 주목성, 기울기, 에지 맵을 활용한 데이터 수준 증강과 모델 수준의 특징 전이를 결합함으로써 전이학습 성능을 향상시킨다.
• 시공간 역학은 단순한 공간적 특징보다 더 도메인에 강인하다는 점을 입증함으로써 더 나은 전이 가능성 확보.
• 다양한 데이터셋에서 충돌 분류 및 엔드 투 엔드 조향 예측 작업을 대상으로 성능을 평가한다.

제안 방법

• 1단계에서 소스 도메인 데이터(예: CARLA Town 3)를 사용해 CNN-LSTM 모델을 훈련시켜 공간적 및 시간적 특징을 학습한다.
• 다양한 데이터셋에서 사전 훈련된 외부 분류기로 1단계 모델에서 주목성, 기울기, 에지 맵을 추출한다.
• 2단계에서 1단계의 전이된 CNN 가중치와 LSTM 히든 상태 임베딩을 사용해 타겟 도메인 모델을 초기화한다.
• 생성된 주목성 맵을 사용해 타겟 도메인 훈련 데이터를 증강함으로써 특징 표현과 일반화 성능을 향상시킨다.
• 데이터 증강 과정에서 관련 시공간 특징을 선별하기 위해 코사인 유사도를 활용한다.
• 증강된 입력을 사용해 타겟 데이터에 대해 2단계 모델을 엔드 투 엔드로 훈련함으로써 미리 보지 않은 도메인에 대한 강력한 적응 능력을 확보한다.

실험 결과

연구 질문

• RQ1 한 도메인에서 학습된 시공간 특징이 시각 분포의 변화가 있는 다른 도메인으로 효과적으로 전이되어 성능 향상에 기여할 수 있는가?
• RQ2 모델 수준의 전이(CNN 가중치 및 LSTM 히든 상태)와 데이터 수준의 증강(주목성, 기울기, 에지 맵)을 결합했을 때 자율주행에서 일반화 성능에 어떤 영향을 미치는가?
• RQ3 시공간 특징이 공간적 특징만을 사용할 경우에 비해, 저유사성 도메인(예: 시뮬레이션-현장)에서 전이 성능 향상에 얼마나 기여하는가?
• RQ4 주목성 기반 데이터 증강이 엔드 투 엔드 주행 모델의 전이학습에서 수렴성과 강건성 향상에 기여하는가?
• RQ5 제안된 방법은 시뮬레이션-시뮬레이션 및 시뮬레이션-현장 전이 설정 모두에서 기존 최고 성능(SOTA) 전이학습 접근법보다 어떻게 비교되는가?

주요 결과

• 제안된 방법은 기존 SOTA 기준 대비 시뮬레이션 도메인에서 최대 37.3% 높은 테스트 정확도를 달성한다.
• 엔드 투 엔드 조향 예측 작업에서는 시뮬레이션-시뮬레이션 설정에서 오차를 최대 40.8% 감소시키고, 시뮬레이션-현장 설정에서는 23.7% 감소시킨다.
• CNN 가중치와 LSTM 히든 상태를 모두 전이할 경우, 각각을 별도로 전이하는 것보다 수렴 속도가 빠르고 성능이 뛰어나다.
• 주목성, 기울기, 에지 맵 증강은 시뮬레이션-현장과 같이 유사도가 낮은 도메인에서 일반화 성능을 크게 향상시키며, 모델 전만으로는 부족한 성능 향상을 보여준다.
• 제거 실험 결과, 아키텍처 수준의 시공간 특징 전이와 데이터 수준의 증강이 성능 향상에 독립적으로 기여하며 상호 보완적인 효과를 가짐을 확인한다.
• CARLA, DeepDrive, Udacity, Audi, Waymo, Honda 등 다양한 데이터셋 간에도 잘 일반화되어 도메인 이동에 대한 강건성을 입증한다.