[논문 리뷰] SAM: Squeeze-and-Mimic Networks for Conditional Visual Driving Policy Learning

Albert Zhao, Tong He외 4명|arXiv (Cornell University)|2019. 12. 06.

Advanced Neural Network Applications참고 문헌 33인용 수 13

한 줄 요약

이 논문은 측면 작업(예: 세분화 또는 물체 기능)을 명시적인 측면 작업 예측 없이 활용하는 조건부 타깃 학습 프레임워크인 SAM(Squeeze-and-Mimic Networks)을 제안한다. '압축' 네트워크는 측면 작업 애너테이션을 주행 조작으로 매핑하여 주행에 관련된 표현을 추출하고, 이를 '모방' 네트워크로 흡수함으로써 측면 작업에 특화된 잡음으로부터 자유로워지며, 정확도와 일반화 능력을 향상시킨다.

ABSTRACT

We describe a policy learning approach to map visual inputs to driving controls conditioned on turning command that leverages side tasks on semantics and object affordances via a learned representation trained for driving. To learn this representation, we train a squeeze network to drive using annotations for the side task as input. This representation encodes the driving-relevant information associated with the side task while ideally throwing out side task-relevant but driving-irrelevant nuisances. We then train a mimic network to drive using only images as input and use the squeeze network's latent representation to supervise the mimic network via a mimicking loss. Notably, we do not aim to achieve the side task nor to learn features for it; instead, we aim to learn, via the mimicking loss, a representation of the side task annotations directly useful for driving. We test our approach using the CARLA simulator. In addition, we introduce a more challenging but realistic evaluation protocol that considers a run that reaches the destination successful only if it does not violate common traffic rules. A video summarizing this work is available at https://youtu.be/ipKAMzmJpMs , and code is available at https://github.com/twsq/sam-driving .

연구 동기 및 목표

• 원시 이미지 입력에서 발생하는 잡음 요인에도 불구하고 일반화 능력이 뛰어난 강건한 시각적 주행 정책 학습에 도전한다.
• 이전 방법의 한계를 극복한다. 즉, 측면 작업 추정 오차 또는 측면 작업-주요 작업 불일치로 인해 주행과 관련 없는 특징을 학습하는 문제를 해결한다.
• 측면 작업 애너테이션을 측면 작업 자체를 해결하기 위해가 아니라, 주행에 관련된 맥락적 표현을 추출하기 위해 활용하는 프레임워크를 개발한다.
• 측면 작업 애너테이션에 기반한 압축 네트워크의 잠재 표현을 모방하는 '모방' 네트워크를 훈련시켜 정책의 일반화 능력을 향상시키며, 추론 시에 진정한 측면 작업 예측이 필요로 하지 않는다.
• 보다 현실적인 평가 프로토콜인 Traffic-school을 도입하여 다중 위반 사항(예: 빨간 신호 위반, 충돌 등)에 대해 벌점을 부과함으로써 표준 성공률 지표보다 더 신뢰할 수 있는 벤치마크를 향상시킨다.

제안 방법

• 측면 작업 애너테이션(예: 세분화)을 직접 주행 조작으로 매핑하는 '압축' 네트워크를 훈련시켜 주행에 관련된 맥락만 포함하는 표현을 학습한다.
• 압축 네트워크의 은닉층에서 깊은 특징을 추출한다. 이 특징들은 오직 주행 성능 향상에 대해 최적화되어 있으므로, 주행과 관련 없는 측면 작업 특화 정보를 포함하지 않는다.
• 원시 이미지를 조작으로 매핑하는 '모방' 네트워크를 훈련시키며, 압축 네트워크의 표현과 내부 특징이 일치하도록 하는 모방 손실을 사용한다.
• 모방 손실을 사용해 추론 과정에서 측면 작업 애너테이션을 전혀 볼 수 없도록 하여, 모방 네트워크가 주행에 관련된 표현을 학습할 수 있도록 한다.
• 추론 시에 측면 작업 출력을 추정할 필요가 없기 때문에, 추정 오류 위험을 완전히 제거한다.
• CARLA 시뮬레이터에서 새로운 벤치마크인 Traffic-school을 사용해 방법을 평가하며, 이는 다양한 교통 규칙 위반 유형에 대해 벌점을 적용하여 더 현실적인 성공 지표를 제공한다.

실험 결과

연구 질문

• RQ1 추론 시에 명시적인 측면 작업 예측이 필요로 하지 않더라도, 측면 작업 애너테이션을 활용해 주행 정책의 일반화 능력을 향상시킬 수 있는가?
• RQ2 측면 작업을 최적화하지 않고도 측면 작업 애너테이션에서 주행에 관련된 표현을 학습할 경우, 기존의 타깃 학습 또는 다중 작업 접근법보다 더 뛰어난 강건성과 성능을 달성할 수 있는가?
• RQ3 다양하고 도전적인 주행 조건 하에서 제안된 방법은 기존 베이스라인 대비 성공률과 교통 규칙 준수 정도에서 어떻게 비교되는가?
• RQ4 모방 손실이 측면 작업 특화 잡음 없이 압축 네트워크의 주행에 관련된 지식을 모방 네트워크로 효과적으로 전달할 수 있는가?
• RQ5 Traffic-school과 같은 더 현실적인 평가 프로토콜이 표준 성공률 지표보다 정책의 안전성과 신뢰성에 더 잘 반영할 수 있는가?

주요 결과

• SAM 모델은 Traffic-school 평가 프로토콜 하에서 CILRS 벤치마크에서 평균 성공률 63.0 ± 1.0%를 기록하여 원본 CILRS 방법(61.0 ± 0.7%)을 능가하며, 더 뛰어난 강건성을 보였다.
• 새로운 도시/_WEATHER 설정에서 SAM은 Traffic-school에서 성공률 27.0 ± 3.0%를 기록하여, 기존 베이스라인 대비 도전적인 조건에서도 더 뛰어난 일반화 능력을 보였다.
• 밀집된 교통과 악천후와 같은 다양한 시나리오에서 일관된 성능을 보였으며, 이는 주행에 관련된 맥락이 측면 작업 특화 노이즈에서 분리되어 있음을 시사한다.
• Traffic-school 벤치마크는 성공률이 교통 밀도 증가에 따라 단순히 감소하지 않음을 드러내었으며, 일부 에이전트가 차량 상호작용에서 유리함을 얻을 수 있음을 시사한다. 이는 다중 위반 사항 평가의 중요성을 강조한다.
• 저자들이 공개한 코드를 사용해 CILRS를 재실행한 결과, 원본 논문과 유사한 결과를 도출하여, 벤치마크의 재현 가능성과 제안된 방법의 성능 신뢰성을 검증하였다.
• 절단 실험 결과, 모방 손실이 압축 네트워크에서 모방 네트워크로 주행에 관련된 특징을 효과적으로 전달함을 확인하였으며, 이는 추론 시 측면 작업 애너테이션에 접근할 수 없음에도 불구하고 높은 성능을 달성할 수 있음을 보여준다.