[논문 리뷰] Analyzing Knowledge Transfer in Deep Q-Networks for Autonomously Handling Multiple Intersections

David Isele, Akansel Cosgun외 1명|arXiv (Cornell University)|2017. 05. 02.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 12

한 줄 요약

이 논문은 자율 주행에서 교차로에서의 딥 Q 네트워크(DQNs)의 지식 전이를 조사하며, 다섯 가지 교차로 유형 간에 직접 전이, 피니튜닝, 역전이, 그리고 라이프패스 학습을 평가한다. 연구 결과, 피니튜닝은 새로운 작업에서 성능을 향상시키면서도 이전 작업의 일부 지식을 유지하지만, 라이프패스 학습은 치명적인 기억 상실을 유도함으로써 지속적 강화학습에서 장기 기억 메커니즘이 필요하다는 점을 시사한다.

ABSTRACT

We analyze how the knowledge to autonomously handle one type of intersection, represented as a Deep Q-Network, translates to other types of intersections (tasks). We view intersection handling as a deep reinforcement learning problem, which approximates the state action Q function as a deep neural network. Using a traffic simulator, we show that directly copying a network trained for one type of intersection to another type of intersection decreases the success rate. We also show that when a network that is pre-trained on Task A and then is fine-tuned on a Task B, the resulting network not only performs better on the Task B than an network exclusively trained on Task A, but also retained knowledge on the Task A. Finally, we examine a lifelong learning setting, where we train a single network on five different types of intersections sequentially and show that the resulting network exhibited catastrophic forgetting of knowledge on previous tasks. This result suggests a need for a long-term memory component to preserve knowledge.

연구 동기 및 목표

• 자신의 교차로 유형에서 훈련된 DQN이 다른 교차로 유형으로 지식 전이가 어떻게 이루어지는지 평가하기 위해.
• 사전 훈련된 DQN을 새로운 교차로 유형에서 피니튜닝하는 것이 무작위 초기화보다 학습 효율성과 성능을 향상시키는지 조사하기 위해.
• 피니튜닝 후 원본 작업에서의 지식 유지 정도를 평가하기 위해 역전이를 평가하기 위해.
• 단일 DQN이 여러 교차로 유형을 순차적으로 훈련하는 라이프패스 학습 시나리오를 검토하고, 치명적인 기억 상실과 같은 과제를 식별하기 위해.

제안 방법

• 딥 Q 네트워크(DQNs)를 사용하여 Q-값 함수를 근사하는 방식으로 교차로 처리 문제를 모델링한다.
• 다섯 가지 다른 교차로 유형(단일 차선 오른쪽, 왼쪽, 직진 전환, 다중 차선 왼쪽2, 챌린지 구성)을 갖는 교통 시뮬레이션 환경에서 DQNs를 훈련시킨다.
• 사전 훈련된 DQN을 다른 작업으로 그대로 복사하여 추가 훈련 없이 전이하는 직접 복사 전략을 구현한다.
• 원천 작업에서의 사전 훈련된 가중치로 DQN을 초기화하고 목표 작업에서 계속 훈련하는 피니튜닝을 적용한다.
• 피니튜닝 후 원천 작업에서의 성능을 재평가하여 지식 유지 정도를 측정함으로써 역전이를 측정한다.
• 모든 다섯 가지 교차로 유형을 순차적으로 훈련함으로써 라이프패스 학습을 수행하며, 이전 작업에서의 성능 저하를 모니터링한다.

실험 결과

연구 질문

• RQ1 한 교차로 유형에서 훈련된 DQN이 다른 교차로 유형으로 직접 복사되었을 때, 일반화 성능은 얼마나 잘 이루어지는가?
• RQ2 원천 작업에서 사전 훈련된 DQN을 목표 작업에서 피니튜닝하는 것이 무작위 초기화보다 성능 향상에 기여하는가?
• RQ3 새로운 작업에서 피니튜닝 후 원천 작업의 지식 유지 정도는 어느 정도인가? (역전이의 정도)
• RQ4 여러 교차로 유형을 순차적으로 훈련하는 라이프패스 학습 설정에서의 영향은 무엇인가? 특히 치명적인 기억 상실 측면에서.

주요 결과

• 한 교차로 유형에서 훈련된 DQN을 다른 유형으로 직접 복사하는 경우, 항상 해당 작업에서 훈련한 경우보다 성공률이 낮았으며, 다른 작업에서 성능이 뛰어난 경우는 없었다.
• 원천 작업에서 사전 훈련된 DQN을 초기화하여 목표 작업에서 피니튜닝하면, 랜덤 초기화보다 더 빠른 수렴(점프스타트 효과)과 더 높은 점차적 성능 향상을 가져왔다.
• 피니튜닝 후 네트워크는 원천 작업의 측정 가능한 지식을 유지하고 있었으며, 이는 목표 작업에서의 복사보다 원천 작업에서의 성능이 뛰어나다는 점에서 입증되었다. 특히 상태공간 겹침이 적은 작업(예: 오른쪽 전환과 Left2 작업)에서 가장 높은 유지 정도를 보였다.
• 라이프패스 학습에서 다섯 가지 교차로 유형을 순차적으로 훈련하면 치명적인 기억 상실이 발생했으며, 이는 이전 작업에서의 성능 저하가 심하게 나타났다. 특히 오른쪽 전환 작업 훈련이 다중 차선 작업에 악영향을 미쳤다.
• 단일 차선 작업(왼쪽, 오른쪽, 직진)은 성능 유사성(유사성)을 보였고, 다중 차선 작업(Left2, 챌린지)은 별도의 그룹을 이뤘다. Left2 작업의 성능은 챌린지 작업 이후에 향상되었지만 오른쪽 전환 이후에는 저하되었다.
• 전반적으로 라이프패스 학습 시나리오에서의 치명적인 기억 상실의 부정적 영향은 전이의 이점을 초월했으며, 지속적 학습 환경에서 장기 지식을 유지하기 위한 메커니즘이 필요하다는 점을 시사한다.