[논문 리뷰] FGPrompt: Fine-grained Goal Prompting for Image-goal Navigation

Xinyu Sun, Peihao Chen외 4명|arXiv (Cornell University)|2023. 10. 11.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

FGPrompt는 관찰 인코더를 목표 이미지의 고해상도 중간 특징 맵을 프롬프트로 사용하여 조건화하는 세밀한 목표 프롬프팅 방법을 제안한다. 이를 통해 관찰 인코더의 주의를 목표 관련 영역으로 향하게 하여, 기존 최고 성능(SOTA) 방법의 1/50 크기의 모델로도 Gibson에서 90.4%의 성공률을 달성한다.

ABSTRACT

Learning to navigate to an image-specified goal is an important but challenging task for autonomous systems. The agent is required to reason the goal location from where a picture is shot. Existing methods try to solve this problem by learning a navigation policy, which captures semantic features of the goal image and observation image independently and lastly fuses them for predicting a sequence of navigation actions. However, these methods suffer from two major limitations. 1) They may miss detailed information in the goal image, and thus fail to reason the goal location. 2) More critically, it is hard to focus on the goal-relevant regions in the observation image, because they attempt to understand observation without goal conditioning. In this paper, we aim to overcome these limitations by designing a Fine-grained Goal Prompting (FGPrompt) method for image-goal navigation. In particular, we leverage fine-grained and high-resolution feature maps in the goal image as prompts to perform conditioned embedding, which preserves detailed information in the goal image and guides the observation encoder to pay attention to goal-relevant regions. Compared with existing methods on the image-goal navigation benchmark, our method brings significant performance improvement on 3 benchmark datasets (i.e., Gibson, MP3D, and HM3D). Especially on Gibson, we surpass the state-of-the-art success rate by 8% with only 1/50 model size. Project page: https://xinyusun.github.io/fgprompt-pages

연구 동기 및 목표

• 기준 이미지를 바탕으로 목표를 찾아야 하는 이미지 목표 탐색 과제를 해결한다.
• 기존 방법들이 목표 이미지의 세밀한 세부 정보를 손실하고 관찰 인코딩에 목표 맥락을 조건화하지 못하는 한계를 극복한다.
• 목표 기반 특징 조절을 통해 관찰에서 목표 관련 영역에 집중할 수 있도록 하여 탐색 성능을 향상시킨다.
• 제한된 컴퓨팅 자원을 가진 실생활 로봇에 적합한 파rameter 효율적이고 일반화 가능한 아키텍처를 설계한다.

제안 방법

• 목표 이미지의 고해상도 중간 특징 맵을 세밀한 프롬프트로 활용하여 관찰 인코딩을 안내한다.
• FiLM 레이어를 사용한 중간 융합 메커니즘을 구현하여 관찰 인코더를 목표 특징으로 조건화하는 애핀 변환을 적용한다.
• 픽셀 수준에서 목표 및 관찰 이미지를 결합하는 초기 융합 변형(FGPrompt-EF)을 설계하여 암묵적인 특징 교환을 유도한다.
• 초기 융합 설정에서 목표 및 관찰 특징을 동시에 공동으로 모델링하기 위해 공유된 ResNet 기반 인코더를 사용한다.
• 주목적 영역의 이동을 분석하기 위해 EigenCAM 시각화를 적용하여, 거리가 멀리 떨어져 있을 때조차도 목표 관련 물체에 집중하는 것을 확인한다.
• 모델 효율성을 높이기 위해 파라미터를 최소화하면서 성능을 극대화하여 자원이 제한된 로봇에의 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 목표 이미지에서 유도한 세밀하고 고해상도 특징이 관찰에서의 주의를 이끌어내어 탐색 정확도를 향상시킬 수 있는가?
• RQ2 FiLM 레이어를 통한 목표 기반 특징 조절이 복잡한 환경에서 관련 물체를 식별하는 데에 에이전트의 능력에 어떤 영향을 미치는가?
• RQ3 공동 모델링을 통한 초기 융합이 중간 융합 대비 효율성과 새로운 환경에서의 일반화 능력 측면에서 뛰어나게 되는가?
• RQ4 제안된 프롬프팅 메커니즘이 이미지 목표 탐색을 초월해 시각적 재배열과 같은 다른 몸체 기반 AI 과제로도 일반화 가능한가?
• RQ5 모델 크기를 줄일 경우 성능에 어떤 영향을 미치며, 작은 모델이 이미지 목표 탐색에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• FGPrompt는 Gibson 데이터셋에서 90.4%의 성공률을 기록하여 이전 SOTA를 8% 초월했으며, 모델 크기는 SOTA 방법의 1/50에 불과하다.
• 중간 융합 변형(FGPrompt-MF)은 카메라 파rameter가 다를 경우에도 초기 융합보다 더 우수한 일반화 성능를 보이며 더 강한 인덕티브 바이어스를 가짐을 시사한다.
• 초기 융합 변형(FGPrompt-EF)은 간단한 아키텍처로도 경쟁 가능한 성능를 달성하고, 매우 높은 파라미터 효율성을 확보한다.
• ai2thor-rearrangement 챌린지에서 FGPrompt-EF는 베이스라인 대비 400%의 상대적 성능 향상을 보여, 시각적 재배열 과제로의 이식 가능성과 타당성을 입증한다.
• 시각화 결과는 에이전트가 목표에서 멀리 떨어져 있을 때조차도 목표 관련 영역(예: 주방 바)에 집중하는 것을 확인한다.
• 본 방법은 볼 수 있는(Gibson) 및 볼 수 없는 환경(MP3D, HM3D) 모두에서 강력한 일반화 능력을 유지함을 보여, 안정적인 성능을 확보한다.