[논문 리뷰] TACO: Learning Task Decomposition via Temporal Alignment for Control

Kyriacos Shiarlis, Markus Wulfmeier외 3명|arXiv (Cornell University)|2018. 03. 02.

Reinforcement Learning in Robotics참고 문헌 19인용 수 29

한 줄 요약

TACO는 작업 스케치와 시연의 시간적 정렬을 함께 최적화하고 하위 정책 학습을 통해 약한 감독, 도메인 무관 방식으로 모듈러 제어 정책을 학습한다. 전체적으로 감독된 방법과 유사한 성능를 달성하면서도 주석 작업을 크게 줄였으며, 이미지 기반 3D 로봇 제어를 포함한 과제에서 별도의 분할 및 모방 학습 방법보다 뛰어난 성능를 보였다.

ABSTRACT

Many advanced Learning from Demonstration (LfD) methods consider the decomposition of complex, real-world tasks into simpler sub-tasks. By reusing the corresponding sub-policies within and between tasks, they provide training data for each policy from different high-level tasks and compose them to perform novel ones. Existing approaches to modular LfD focus either on learning a single high-level task or depend on domain knowledge and temporal segmentation. In contrast, we propose a weakly supervised, domain-agnostic approach based on task sketches, which include only the sequence of sub-tasks performed in each demonstration. Our approach simultaneously aligns the sketches with the observed demonstrations and learns the required sub-policies. This improves generalisation in comparison to separate optimisation procedures. We evaluate the approach on multiple domains, including a simulated 3D robot arm control task using purely image-based observations. The results show that our approach performs commensurately with fully supervised approaches, while requiring significantly less annotation effort.

연구 동기 및 목표

• 수동으로 분할된 시연나 광범위한 도메인 지식이 필요 없이도 반복 가능하고 모듈러한 정책을 학습하는 도전 과제를 해결한다.
• 시간적으로 정렬된 궤적 세그먼트 대신 하위 작업의 시퀀스인 고수준 작업 스케치만을 사용함으로써, 제안자 학습(LfD)의 주석 부담을 줄인다.
• 통합 가능성 목적 함수를 통해 정책 학습과 시간적 정렬을 함께 최적화함으로써 일반화 능력과 제로샷 모방 능력을 향상시킨다.
• 완전한 상태 감독이 불가능한 시각 기반 및 연속 제어 도메인에서 효과적인 정책 학습을 가능하게 한다.

제안 방법

• 관측된 동작 시퀀스와 작업 스케치의 결합 가능도를 최대화하는 방식으로 학습 문제를 설정함으로써, 정렬과 정책 학습의 엔드 투 엔드 최적화를 가능하게 한다.
• 각 하위 작업마다 하나의 하위 정책을 학습하며, 자가 종료를 지원하기 위해 확장된 동작 공간을 사용함으로써 테스트 시점에서 모듈러 조합이 가능해진다.
• 연결주의 시간 분류(CTC)를 영감으로 삼은 미분 가능한 시퀀스 정렬 메커니즘을 사용하여, 정렬 분포에 대한 기울기 기반 최적화를 허용한다.
• 상태 기반 및 이미지 기반 관측에 모두 적용되며, 시각 입력에 대해 컨볼루션 인코더를 사용해 정책 학습을 위한 특징을 추출한다.
• 다양한 타당한 정렬을 통해 정규화하는 공동 목적 함수를 사용해 하위 정책를 훈련함으로써, 강인성 향상과 과적합 방지를 도모한다.
• 재학습 없이도 새로운, 알려지지 않은 작업 스케치 기반으로 하위 정책를 조합함으로써 제로샷 모방을 가능하게 한다.

실험 결과

연구 질문

• RQ1 약한 감독 방법이 시간 분할이나 도메인 특화 사전 지식 없이도 하위 작업 시퀀스인 작업 스케치만을 사용해 모듈러 제어 정책을 학습할 수 있는가?
• RQ2 정책 학습과 시간적 정렬을 함께 최적화하는 것이 별도의 분할 및 모방 절차에 비해 일반화 능력과 성능 향상에 기여하는가?
• RQ3 TACO는 복잡한 시각 기반 제어 과제에서 알려지지 않은 작업 시퀀스에 대해 얼마나 잘 일반화되고 제로샷 모방을 달성할 수 있는가?
• RQ4 작업 정확도와 정렬 품질 측면에서, TACO는 완전히 감독된 기준 및 CTC 기반 기준에 비해 어떻게 성능를 보이는가?
• RQ5 기본 관절 각도나 상태 표현에 접근할 수 없는 상황에서, 이미지 기반 관측만을 사용해도 높은 성능를 유지할 수 있는가?

주요 결과

• TACO는 이미지 기반 관측만을 사용하는 시뮬레이션된 3D 로봇 암을 포함한 모든 평가 도메인에서 완전히 감독된 방법(GT-BC)과 유사한 작업 정확도를 달성했다.
• 3D 로봇 암 과제에서 TACO는 GT-BC의 성능를 그대로 유지하면서도 주석 작업을 극도로 줄였으며, 강력한 데이터 효율성을 입증했다.
• TACO는 CTC 기반 기준보다 뚜렷이 뛰어나, 전체 작업 시퀀스를 완료하지 못하고 이미지 기반 다이얼 도메인에서 하위 작업의 소수만을 해결했다.
• 이미지 기반 다이얼 도메인에서 TACO는 상태공간 정보가 없음에도 불구하고 평균 90% 이상의 하위 작업 정확도를 달성하여, 시각적 흐림에 대한 강인성을 보였다.
• 더 큰 데이터셋에서 TACO는 GT-BC보다 더 높은 정렬 정확도를 보였으며, 정렬 분포에 대한 최적화로 인해 과적합이 감소했음을 시사했다.
• TACO는 작업 길이가 길어질수록 정확도 감소 속도가 기준보다 둔화되어, 더 긴 시퀀스에서 오류 전파에 대한 강건성과 확장성 향상을 보였다.