[논문 리뷰] Ask4Help: Learning to Leverage an Expert for Embodied Tasks

Kunal Pratap Singh, Luca Weihs외 4명|arXiv (Cornell University)|2022. 11. 18.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 필요에 따라 전문가의 도움을 요청할 수 있도록 하는 최소 침습적 정책인 Ask4Help를 제안한다. 이 정책은 최소한의 도움으로도 작업 성능을 크게 향상시킨다. 기존 에이전트의 파라미터를 수정하지 않고 훈련되며, 성능과 도움 비용 간의 균형을 학습함으로써, 물체 탐색 작업에서 성공률을 52%에서 86%로, 실내 정리 작업에서 7%에서 90.4%로 높이며, 각각 도움 비용은 13%와 39%에 불과하다.

ABSTRACT

Embodied AI agents continue to become more capable every year with the advent of new models, environments, and benchmarks, but are still far away from being performant and reliable enough to be deployed in real, user-facing, applications. In this paper, we ask: can we bridge this gap by enabling agents to ask for assistance from an expert such as a human being? To this end, we propose the Ask4Help policy that augments agents with the ability to request, and then use expert assistance. Ask4Help policies can be efficiently trained without modifying the original agent's parameters and learn a desirable trade-off between task performance and the amount of requested help, thereby reducing the cost of querying the expert. We evaluate Ask4Help on two different tasks -- object goal navigation and room rearrangement and see substantial improvements in performance using minimal help. On object navigation, an agent that achieves a $52\%$ success rate is raised to $86\%$ with $13\%$ help and for rearrangement, the state-of-the-art model with a $7\%$ success rate is dramatically improved to $90.4\%$ using $39\%$ help. Human trials with Ask4Help demonstrate the efficacy of our approach in practical scenarios. We release the code for Ask4Help here: https://github.com/allenai/ask4help.

연구 동기 및 목표

• 현재 최첨단 모델이 약 50%의 확률로 실패하는 실생활 응용 분야에서 임베디드 AI 에이전트의 신뢰성과 성능을 향상시키기 위해.
• 에이전트가 필요할 때만 전문가의 도움을 요청할 수 있는 방법을 개발하여 인간 간섭의 비용을 최소화하기 위해.
• 기본 에이전트의 파라미터를 수정하지 않고 도움 요청 정책을 훈련시켜 모델에 종속되지 않는 적용 가능성과 계산 비용 절감을 위해.
• 추론 시 도움 비용을 동적으로 조정할 수 있도록 하여 성능과 도움 요청 빈도 간의 트레이드오프를 사용자가 제어할 수 있도록 하기 위해.
• 알고리즘 전문가와 인간 실험을 모두 활용하여 접근법의 강건성과 실용적 효용성을 입증하기 위해.

제안 방법

• Ask4Help 정책는 애초에 별도의 모듈로 훈련되며, 에이전트가 진행 상황을 유지하지 못할 때와 전문가 개입이 유용할 때를 관찰한다.
• 작업 성공률과 전문가 질의 횟수 간의 균형을 고려한 보상 함수를 사용하여, 최소한이지만 효과적인 도움 요청을 장려한다.
• 주 에이전트에 비해 훨씬 적은 데이터와 계산 자원으로 훈련되어, 원본 모델을 재학습하지 않고도 효율적인 피니팅이 가능하다.
• 모델에 종속되지 않으며, Embodied CLIP와 같은 기존의 임베디드 AI 에이전트에 아키텍처 변경 없이 적용 가능하다.
• 추론 시 사용자는 도움 요청의 비용 임계값을 동적으로 설정할 수 있어, 에이전트의 전문가 질의 욕구를 조절할 수 있다.
• 모의 환경에서 알고리즘 전문가와 인간 전문가를 모두 활용해 평가하였으며, 인간 실험은 AI2-THOR에서 개발된 맞춤 인터페이스를 통해 수행되었다.

실험 결과

연구 질문

• RQ1 임베디드 AI 에이전트가 적절한 시점에 전문가의 도움을 요청함으로써 최소한의 도움으로 작업 성능을 크게 향상시킬 수 있는가?
• RQ2 기본 에이전트의 파라미터를 수정하지 않고도 도움 요청 정책을 효율적으로 훈련할 수 있는가?
• RQ3 작업 성공률과 전문가 질의 빈도 간 최적의 트레이드오프는 무엇이며, 추론 시 동적으로 조정할 수 있는가?
• RQ4 Ask4Help 정책는 인간 전문가와 알고리즘 전문가를 사용했을 때 어떻게 성능을 내며, 노이즈가 있는 또는 완벽하지 않은 전문가 신호에 대해 강건한가?
• RQ5 Ask4Help 정책는 다양한 임베디드 AI 작업에 일반화 가능하며, 향후 최첨단 모델에 적용 가능한가?

주요 결과

• 물체 목표 탐색 작업에서 Ask4Help는 도움 요청이 포함된 에피소드 단계의 13%만을 사용하여 성공률을 52%에서 86%로 높였다.
• 실내 정리 작업에서 메서드는 도움 요청 비율이 39%일 때 성공률을 7%에서 90.4%로 향상시켜 도전적인 작업에서 놀라운 성과를 보였다.
• 인간 실험을 통해 Ask4Help의 실용적 효용성이 확인되었으며, 인간이 제공하는 도움이 실생활과 유사한 상황에서 에이전트 성능을 크게 향상시킨다.
• 전문가 신호에 노이즈가 포함된 버전을 사용했을 때도 정책는 높은 성능를 유지하며 최소한의 성능 저하를 보였다.
• Ask4Help 정책는 도움 행동이 포함된 에피소드 단계의 약 17%만을 사용하여도 상당한 성능 향상을 이뤘으며, 도움 활용의 효율성이 매우 높음을 시사한다.
• 제거 실험 결과, 수작업으로 설정한 히وري스틱보다 학습된 Ask4Help 정책가 더 높은 성능를 보였으며, 고정된 단계 임계값을 수동 조정해야 하는 히وري스틱은 낮은 성공률을 기록했다.