[논문 리뷰] Modular Framework for Visuomotor Language Grounding

Kolby Nottingham, Litian Liang외 4명|arXiv (Cornell University)|2021. 09. 05.

Multimodal Machine Learning Applications참고 문헌 12인용 수 5

한 줄 요약

이 논문은 시각-운동 언어 기반 작업을 위한 모듈형 언어, 동작, 시각(LAV) 프레임워크를 제안한다. 이 프레임워크는 지시 수용 데이터셋과 별도로 시각 및 동작 모듈을 훈련시켜 데이터 효율적인 학습을 가능하게 한다. 프레임워크는 ALFRED 벤치마크에서 엔드 투 엔드 기준선을 능가하며, 특히 미리보지 않은 환경에서 성능이 뛰어나며, 현재의 경로 계획 제약에도 불구하고 모듈 간 분리가 일반화 능력을 향상시킨다는 점을 보여준다.

ABSTRACT

Natural language instruction following tasks serve as a valuable test-bed for grounded language and robotics research. However, data collection for these tasks is expensive and end-to-end approaches suffer from data inefficiency. We propose the structuring of language, acting, and visual tasks into separate modules that can be trained independently. Using a Language, Action, and Vision (LAV) framework removes the dependence of action and vision modules on instruction following datasets, making them more efficient to train. We also present a preliminary evaluation of LAV on the ALFRED task for visual and interactive instruction following.

연구 동기 및 목표

• 엔드 투 엔드 지시 수용 모델의 데이터 비효율성을 해결하기 위해 언어, 시각, 동작 모듈을 분리한다.
• 비용이 많이 드는 전문가 시범 데이터에 대한 의존도를 줄이기 위해, 시각 및 시뮬레이션 데이터를 더 저렴하고 풍부하게 활용해 시각 및 동작 모듈을 훈련시킨다.
• 감지 및 제어 모듈의 독립적 훈련을 통해 새로운 환경으로의 일반화 능력을 향상시킨다.
• 복잡한 지시 수용 작업에서 모듈형 훈련이 엔드 투 엔드 학습을 능가할 수 있음을 입증한다.

제안 방법

• 언어 모듈(L)은 미세조정된 T5 모델을 사용해 자연어 지시에서 하위 작업과 대상 물체를 예측한다.
• 시각 모듈(V)은 RGB 관측값과 대상 물체에서 상태 특징을 추출하며, 세 가지 지도 학습 네트워크(세분화, 깊이, 장애물 탐지)를 사용한다.
• 동작 모듈(A)은 상태 특징과 대상 물체를 기반으로 하위 작업을 수행하며, 경로 탐색에는 깊이 우선 탐색을, 작업 전용 동작에는 특정 동작을 사용한다.
• 모듈은 독립적으로 훈련된다: 시각은 AI2THOR 시뮬레이션 데이터에서, 동작은 다중 과제 강화 학습을 통해, 언어는 지시 데이터셋에서 훈련된다.
• 테스트 시점에 모듈 간 정보 흐름이 가능하며, 예를 들어 시각적 상태를 언어 예측에 활용할 수 있다.
• 향후 개선 사항으로 현재 경로 계획을 강화 학습 에이전트로 대체하여 성능을 향상시키는 것이다.

실험 결과

연구 질문

• RQ1 지시 데이터셋과 별도로 시각 및 동작 모듈을 훈련시키는 것이 시각-운동 언어 기반 작업의 데이터 효율성에 기여하는가?
• RQ2 모듈형 훈련이 지시 수용 작업에서 새로운 환경으로의 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ3 시각 또는 동작 데이터에 훈련되지 않은 언어 모듈이 하위 작업과 물체를 얼마나 정확하게 예측할 수 있는가?
• RQ4 엔드 투 엔드 기준선 대비 모듈 간 독립성의 영향이 전체 작업 성공률에 어떤 영향을 미치는가?
• RQ5 모듈을 오라클로 교체했을 때 LAV 프레임워크의 성능이 얼마나 떨어지며, 이는 현재의 성능 저하 요인을 어떻게 드러내는가?

주요 결과

• LAV 프레임워크는 ALFRED 벤치마크에서 엔드 투 엔드 기준선을 크게 능가하며, 볼 수 있는 테스트 데이터에서 13.4%의 성공률(SR)과 볼 수 없는 테스트 데이터에서 6.3%의 성공률을 기록했다.
• 볼 수 없는 환경에서는 LAV가 6.3%의 SR과 3.1%의 PWSR을 기록했으며, 이는 기준선의 0.4%와 0.1%보다 더 우수한 일반화 능력을 보여준다.
• 언어 모듈과 시각 모듈을 모두 오라클로 교체했을 때 LAV는 오직 25.2%의 SR을 기록했으며, 이는 현재의 경로 계획 정책이 주요 성능 저하 요인임을 시사한다.
• LAV 프레임워크는 최신 기술인 LWIT 방법보다 볼 수 없는 장면에서 더 적은 성능 저하를 보이며, 분포 이탈에 대한 강건성이 향상되었음을 시사한다.
• 시뮬레이션 데이터에서 훈련함으로써 시각 모듈의 성능이 향상되었으며, 이는 지시 수용 데이터셋보다 더 저렴하고 확장성이 높기 때문이다.
• 언어 모듈의 성능은 시각적 상태 특징의 품질에 의해 제한되며, 시각 피드백을 통합하면 예측 정확도가 향상된다.