[논문 리뷰] Hierarchical Task Learning from Language Instructions with Unified Transformers and Self-Monitoring

Yichi Zhang, Joyce Chai|arXiv (Cornell University)|2021. 06. 07.

Multimodal Machine Learning Applications참고 문헌 24인용 수 6

한 줄 요약

이 논문은 언어 지시 기반 작업 실행을 하위 목표 계획 수립, 탐색, 조작으로 분해하는 계층적 작업 학습 프레임워크인 HiTUT을 제안한다. 통합 트랜스포머와 자기 모니터링을 사용하여 일반화 능력을 향상시킨다. ALFRED 벤치마크에서 HiTUT은 미사용 환경에서 이전 최고 성능 모델 대비 성공률 160% 향상하여, 명시적인 계층적 구조와 동적 백트래킹을 통해 뛰어난 일반화 능력과 해석 가능성(해석 가능성)을 입증한다.

ABSTRACT

Despite recent progress, learning new tasks through language instructions remains an extremely challenging problem. On the ALFRED benchmark for task learning, the published state-of-the-art system only achieves a task success rate of less than 10% in an unseen environment, compared to the human performance of over 90%. To address this issue, this paper takes a closer look at task learning. In a departure from a widely applied end-to-end architecture, we decomposed task learning into three sub-problems: sub-goal planning, scene navigation, and object manipulation; and developed a model HiTUT (stands for Hierarchical Tasks via Unified Transformers) that addresses each sub-problem in a unified manner to learn a hierarchical task structure. On the ALFRED benchmark, HiTUT has achieved the best performance with a remarkably higher generalization ability. In the unseen environment, HiTUT achieves over 160% performance gain in success rate compared to the previous state of the art. The explicit representation of task structures also enables an in-depth understanding of the nature of the problem and the ability of the agent, which provides insight for future benchmark development and evaluation.

연구 동기 및 목표

• 언어 지시어로부터 작업을 학습하는 엔드 투 엔드 모델의 일반화 능력 부족 문제를 해결하기 위해, 특히 미사용 환경에서의 일반화 능력을 향상시키기 위해.
• 명시적인 계층적 작업 구조 모델링을 통해 모델의 설명 가능성과 에이전트 자율성 향상.
• 작업 학습을 하위 목표 계획 수립, 탐색, 조작의 세 가지 하위 문제로 분해하여 분석과 모ularity를 향상시키기 위해.
• 실패 상황을 처리하고 새로운 상황에 적응하기 위해 추론 중 자기 모니터링 및 동적 백트래킹을 가능하게 하기 위해.
• 구조적 분해와 아블레이션 분석을 통해 작업 복잡성과 모델의 한계를 더 깊이 있게 이해하기 위해.

제안 방법

• HiTUT은 하위 목표 계획 수립, 탐색, 조작 전반에 걸쳐 언어 지시어, 시각적 관측치, 액션 시퀀스를 동시에 모델링하기 위해 통합 트랜스포머 아키텍처를 사용한다.
• 모델은 작업의 계층적 구조를 명시적으로 표현하며, 고수준 목표를 탐색 및 조작 액션을 포함하는 하위 목표로 분해한다.
• 자기 모니터링은 완료된 하위 목표를 추적하고, 실패가 발생할 경우 계획을 수정하기 위해 백트래킹을 가능하게 함으로써 구현된다.
• 프레임워크는 추론 시 동적 재계획 기능을 지원하여 에이전트가 재학습 없이 예외 상황에 적응할 수 있도록 한다.
• 작업 분해 덕분에 모듈러한 평가가 가능해지며, 하위 문제 성능를 분리하여 네비게이션과 같은 한계 요소를 식별할 수 있다.
• 시각적 기반은 마스크 생성기로 별도로 모델링되며, 아블레이션 연구를 통해 그 영향을 네비게이션 및 조작에 대해 고립적으로 분석한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 모델 대비 계층적이고 모듈러한 접근 방식이, 특히 미사용 환경에서 일반화 능력을 향상시키는가?
• RQ2 명시적인 하위 목표 표현 방식이 모델의 설명 가능성 향상에 기여하고, 자기 모니터링 및 백트래킹을 가능하게 하는가?
• RQ3 ALFRED 벤치마크에서 하위 목표 계획 수립, 탐색, 조작의 상대적 난이도는 각각 어떠한가?
• RQ4 언어 지시어는 조작 및 탐색 액션 학습에 얼마나 기여하는가? 그리고 시각적 기반은 성능에 어떤 영향을 미치는가?
• RQ5 작업 분해가 모델의 한계와 벤치마크 설계에 대한 깊이 있는 분석을 어떻게 지원하는가?

주요 결과

• HiTUT은 ALFRED 벤치마크에서 미사용 환경에서 이전 최고 성능 모델 대비 성공률 160% 향상하여 뛰어난 성능을 달성한다.
• 모델의 성공은 주로 명시적인 계층적 구조와 자기 모니터링 능력 덕분에 향상된 일반화 능력에 기인한다.
• 네비게이션은 주요 한계 요소로 규명되었으며, 모든 훈련 데이터를 사용할 때조차도 정확도가 82%에 불과하지만, 하위 목표 및 조작 계획 수립은 최소한의 데이터로도 90% 이상의 정확도를 기록한다.
• 언어 지시어는 액션 예측에 거의 기여하지 않으며, 제거했을 때 성능이 1%-2%만 감소함을 시사하여 데이터셋 편향 가능성 존재를 시사한다.
• 액션 인자에 대한 시각적 기반은 가장 과제가 큰 구성 요소이며, 오라클 오브제트 마스크가 제공될 경우에야 비로소 성능이 거의 완벽에 수렴한다.
• 오라클 하위 목표, 네비게이션 액션, 시각적 기반을 제공할 경우, 조작 액션 예측 성능은 거의 완벽에 도달함을 보여주며, 이는 액션 유형 및 인자 예측이 기반 설정보다 더 간단함을 시사한다.