[논문 리뷰] PoseAgent: Budget-Constrained 6D Object Pose Estimation via Reinforcement Learning

Alexander Krull, Eric Brachmann외 4명|arXiv (Cornell University)|2016. 12. 12.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 6

한 줄 요약

PoseAgent는 계산 자원 제약 조건 하에서 6자유도 물체 자세 추정을 최적화하기 위해 강화학습 기반 접근법을 제안한다. 정책 기반 강화학습을 통해 확률적 정책을 학습하여 자세 추정 후보를 선택하고 정밀화하며, 기존 방법보다 평균적으로 더 적은 정밀화 단계를 사용하면서도 최신 기술 수준의 정확도를 달성한다. 이는 비가역적인 알고리즘 파이프라인의 미분 가능하고 종단 간(end-to-end) 학습을 가능하게 한다.

ABSTRACT

State-of-the-art computer vision algorithms often achieve efficiency by making discrete choices about which hypotheses to explore next. This allows allocation of computational resources to promising candidates, however, such decisions are non-differentiable. As a result, these algorithms are hard to train in an end-to-end fashion. In this work we propose to learn an efficient algorithm for the task of 6D object pose estimation. Our system optimizes the parameters of an existing state-of-the art pose estimation system using reinforcement learning, where the pose estimation system now becomes the stochastic policy, parametrized by a CNN. Additionally, we present an efficient training algorithm that dramatically reduces computation time. We show empirically that our learned pose estimation procedure makes better use of limited resources and improves upon the state-of-the-art on a challenging dataset. Our approach enables differentiable end-to-end training of complex algorithmic pipelines and learns to make optimal use of a given computational budget.

연구 동기 및 목표

• 6자유도 물체 자세 추정을 위한 복잡한 비가역적인 알고리즘 파이프라인을 종단 간 방식으로 학습하는 데 도전한다.
• 동적 후보 선택 및 정밀화 결정을 학습함으로써 제한된 계산 자원을 효율적으로 사용할 수 있도록 한다.
• 자세 추정에서의 이산적 결정과 보상 함수의 비가역성 문제를 미분 가능한 정책 기반 강화학습 기법을 통해 해결한다.
• 계산 시간을 늘리지 않고도 기울기 분산을 극도로 줄이는 효율적인 학습 알고리즘을 개발한다.

제안 방법

• 추론 과정을 확률적 정책로 모델링함으로써 6자유도 물체 자세 추정 문제를 강화학습 문제로 재정의한다.
• 후보 자세를 선택하고 정밀화하기 위한 동작 확률을 출력하는 CNN으로 파arameter화된 정책을 사용한다.
• 비가역적 결정을 통해 역전파할 수 있도록 확률적 정책 기반 강화학습 방법을 적용하여 종단 간 학습을 가능하게 한다.
• 다중 롤아웃 간 중간 계산을 재사용함으로써 기울기 분산을 줄이는 효율적인 학습 알고리즘을 도입한다.
• 행동 선택의 정밀도를 제어하기 위해 온도 매개변수 τ_max를 도입하여 세밀한 탐색을 가능하게 한다.
• 증가하는 τ_max 값으로 구성된 교육 커리큘럼 유사 전략을 사용하여 다양한 예산 설정에서의 정책 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비가역적인 6자유도 자세 추정 파이프라인에서 후보 자세 선택 및 정밀화를 위한 미분 가능한 정책을 강화학습으로 학습시킬 수 있는가?
• RQ2 제안된 방법은 최신 기술 수준의 기준 대비 더 적은 평균 정밀화 단계를 사용하면서도 정확도를 향상시키는가?
• RQ3 재학습 없이도 다양한 계산 자원 예산 설정 간에 정책이 일반화 가능한가?
• RQ4 제안된 분산 감소 기법은 정책 기반 강화학습의 수렴 속도를 빠르게 하고 안정성을 향상시키는 데 얼마나 효과적인가?
• RQ5 고정된 예산 내에서 가장 유망한 후보 자세에 정밀화 단계를 동적으로 할당함으로써 최적의 자원 활용을 학습할 수 있는가?

주요 결과

• PoseAgent는 N=210의 후보 풀을 사용할 때 Cat 2 벤치마크에서 76.29%의 정확도를 기록하며, 이는 이전 최고 성능 기준(Krull et al.)보다 4.77% 포인트 높은 성능이다.
• 더 큰 후보 풀 N=420을 사용할 경우, 동일한 예산 조건 하에서 PoseAgent는 Cat 2에서 76.29%의 정확도를 달성하며, 기준 방법 대비 5.52% 포인트 향상된 성능을 보였다.
• 비가역적 REINFORCE 구현 대비 기울기 분산을 90% 이상 감소시켰으며, 계산 시간 증가 폭은 최소한이었다.
• PoseAgent는 다양한 τ_max 값에 대해 잘 일반화되며, 훈련 시 τ_max=3으로 설정된 상태에서 테스트 시 τ_max=7을 사용하더라도 높은 정확도를 달성했다.
• 평균적으로 기준 방법 대비 더 적은 정밀화 단계를 사용한다 (예: N=210일 때 Cat 2에서 66.60 대비 68.71 단계), 이는 더 높은 계산 효율성을 의미한다.
• 모든 테스트 데이터셋(Cat 2, Samurai 2, Toolbox 2)에서 정확도가 향상되었으며, 총 평균 점수 기준으로도 최고 성능을 기록하여 'BestRef' 기준 대비 뛰어난 성능을 보였다.