[논문 리뷰] Incorporating Human Domain Knowledge into Large Scale Cost Function Learning

Markus Wulfmeier, Dushyant Rao외 1명|arXiv (Cornell University)|2016. 12. 13.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 9

한 줄 요약

이 논문은 최대 엔트로피 딥 역강화 학습을 통해 미세조정하기 전에 수작업로 설계된 비용 함수로 깊이 신경망을 사전학습하는 방법을 제안하여 운동 계획에서 대규모 비용 함수 학습을 향상시킨다. 인간의 영역 지식을 사전 지식으로 삽입함으로써 모델은 더 높은 강건성, 더 명확한 장애물 경계선, 그리고 계단, 경사, 지하통로와 같은 드문 코너 케이스에 대한 더 나은 일반화 성능을 달성한다. 이는 단지 시범 데이터로만 훈련된 모델보다 성능이 뛰어나다.

ABSTRACT

Recent advances have shown the capability of Fully Convolutional Neural Networks (FCN) to model cost functions for motion planning in the context of learning driving preferences purely based on demonstration data from human drivers. While pure learning from demonstrations in the framework of Inverse Reinforcement Learning (IRL) is a promising approach, we can benefit from well informed human priors and incorporate them into the learning process. Our work achieves this by pretraining a model to regress to a manual cost function and refining it based on Maximum Entropy Deep Inverse Reinforcement Learning. When injecting prior knowledge as pretraining for the network, we achieve higher robustness, more visually distinct obstacle boundaries, and the ability to capture instances of obstacles that elude models that purely learn from demonstration data. Furthermore, by exploiting these human priors, the resulting model can more accurately handle corner cases that are scarcely seen in the demonstration data, such as stairs, slopes, and underpasses.

연구 동기 및 목표

• 훈련 데이터가 희소하거나 드문 시나리오를 대표하지 못할 경우, 깊이 강화 학습에서 운동 계획을 위한 역강화 학습의 일반화 성능이 열 劣화되는 문제를 해결하기 위해.
• 환경의 도달하지 않은 영역나 혹은 표현이 부족한 영역에서 모델의 강건성과 특징 표현 능력을 향상시키기 위해.
• 전문가의 인간 영역 지식을 깊이 학습 모델에 통합하여, 광범위한 시범 데이터에 대한 의존도를 줄이기 위해.
• 계단, 경사, 지하통로, 벽돌기둥 등 단지 시범 데이터로는 학습하기 어려운 코너 케이스를 더 잘 다룰 수 있도록 하기 위해.
• 수작업 비용 함수로 사전학습하는 것이 무작위 초기화보다 예측 및 분류 과제에서 더 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 수작업로 설계된 비용 맵을 회귀하기 위해 완전 컨volution 신경망(FCN)을 사전학습하여, 이를 네트워크 가중치 초기화의 사전 지식으로 사용한다.
• 전문가의 시범 경로 트레이젝터리에서 최대 엔트로피 딥 역강화 학습(MaxEnt D-IRL)을 사용해 사전학습된 모델을 미세조정한다.
• 모든 네트워크에서 시그모이드 활성화 함수를 사용하여 학습을 안정화하고, 경로 계획의 임계값 처리를 위해 출력값을 [0,1] 범위로 정규화한다.
• 미세조정 중 조기 정지(early stopping)를 적용하여 일반화 성능을 향상시키고 과적합을 줄인다.
• 수작업 비용 맵의 조밀한 감독을 활용하여, 시범 경로 트레이젝터리에서 떨어진 영역에서도 특징 표현을 풍부하게 한다.
• 장애물 확장 규칙과 높이 범위 임계값과 같은 영역 특화 지식을 사전학습 단계에 통합하여, 물리적으로 타당한 비용 함수로 향하는 데 네트워크를 이끌도록 한다.

실험 결과

연구 질문

• RQ1 수작업 비용 함수로 깊이 신경망을 사전학습하면, 운동 계획을 위한 역강화 학습에서 일반화 성능이 향상되는가?
• RQ2 인간의 영역 지식을 통합할 경우, 계단이나 지하통로와 같은 드문 또는 코너 케이스 시나리오를 다룰 수 있는 모델의 능력은 어떻게 영향을 받는가?
• RQ3 사전학습이 랜덤 초기화보다 더 강건하고 시각적으로 뚜렷한 장애물 경계선을 생성하는가?
• RQ4 사전학습은 비용 함수 학습을 위한 광범위한 시범 데이터의 필요성을 얼마나 줄이는가?
• RQ5 수작업 사전 지식과 딥 IRL의 조합이 순수하게 시범 기반 학습보다 도달 가능한 지형에 대한 분류 정확도 측면에서 더 나은 성능을 내는가?

주요 결과

• 무작위 초기화보다 수작업 비용 함수로 사전학습하면, 도달 가능한 지형에 대한 분류 성능이 크게 향상된다.
• 인간 전문 지식 사전학습을 적용한 모델은 더 명확하고 강건한 장애물 경계선을 생성하여, 비용 맵의 아티팩트와 노이즈를 줄인다.
• 계단(도달 가능한 경우)과 경사(비도달 가능한 경우)와 같은 어려운 시나리오를 성공적으로 포착하고 정확하게 분류한다. 이는 단지 시범 데이터로만 훈련된 모델이 자주 잘못 분류하는 영역이다.
• 사전학습을 통해 더 풍부한 초기 특징 표현 덕분에, 특히 시범 경로 트레이젝터리에서 떨어진 영역에서도 일반화 성능이 더 뛰어나다.
• 미세조정 단계에서 조기 정지를 적용하면 학습 시간이 단축되고 일반화 성능이 향상되며, 특히 사전학습 단계 이후에 효과가 뚜렷하다.
• 이 방법은 단지 학습된 모델에서 높이 범위나 포인트 클라우드 밀도 문제로 자주 잘못 분류되는 복잡한 특징인 지하통로와 벽돌기둥을 정확하게 모델링할 수 있다.