[논문 리뷰] The Advantage of Cross Entropy over Entropy in Iterative Information Gathering

Johannes Kulick, Robert Lieck외 1명|arXiv (Cornell University)|2014. 09. 26.

Machine Learning and Algorithms참고 문헌 25인용 수 4

한 줄 요약

이 논문은 반복적 정보 수집에서 기대 엔트로피를 최소화하는 것보다 우수한 대안으로 기대 교차 엔트로피를 최대화하는(MaxCE) 방법을 제안한다. 특히 은닉 모델 파라미터 학습에 유용하다. 엔트로피 최소화와 달리, MaxCE는 편향된 신념에 갇힐 수 있는 국소 최적점 문제를 피하기 위해 사전 분포에서 사후 분포로의 신념 변화를 측정함으로써 그러한 신념을 적극적으로 도전하고 반증한다. 이로 인해 합성 및 실제 로봇 실험 모두에서 더 빠른 수렴과 오류가 발생하기 쉬운 낮은 엔트로피 상태를 피할 수 있다.

ABSTRACT

Gathering the most information by picking the least amount of data is a common task in experimental design or when exploring an unknown environment in reinforcement learning and robotics. A widely used measure for quantifying the information contained in some distribution of interest is its entropy. Greedily minimizing the expected entropy is therefore a standard method for choosing samples in order to gain strong beliefs about the underlying random variables. We show that this approach is prone to temporally getting stuck in local optima corresponding to wrongly biased beliefs. We suggest instead maximizing the expected cross entropy between old and new belief, which aims at challenging refutable beliefs and thereby avoids these local optima. We show that both criteria are closely related and that their difference can be traced back to the asymmetry of the Kullback-Leibler divergence. In illustrative examples as well as simulated and real-world experiments we demonstrate the advantage of cross entropy over simple entropy for practical applications.

연구 동기 및 목표

• 탐색 전략이 비현실적인 낮은 엔트로피의 편향된 신념으로 조기 수렴하는 문제를 해결하기 위해, 반복적 정보 수집에서 탐욕적 엔트로피 최소화의 한계를 다루는 것.
• 기대 교차 엔트로피를 최대화하는 새로운 기준(MaxCE)을 제안하여, 엔트로피 감소가 아닌 신념 변화에 초점을 맞춤으로써 국소 최적점 문제를 피하는 것.
• 합성 및 실제 실험을 통해 MaxCE가 엔트로피 최소화 및 무작위 샘플링에 비해 더 빠른 수렴 속도와 높은 정확도를 보임을 실증적으로 입증하는 것.
• 실제 로봇 탐색 작업에 이 방법을 확장하여 물리적 환경 내의 종속성 구조를 밝혀내는 데서의 실용적 유용성을 보여주는 것.
• MaxCE가 불확실성 샘플링과 조합될 수 있음을 보이며, 예측 성능 향상과 동시에 모델 파라미터 학습을 동시에 개선할 수 있음을 보여주는 것.

제안 방법

• 사전 분포 $ p(\theta|D) $ 와 사후 분포 $ p(\theta|x,y,D) $ 간의 기대 교차 엔트로피를 최대화하는 일단계 최적화 기준으로 MaxCE를 제안하여, 존재하는 가정을 도전하는 신념 갱신을 촉진하는 것.
• 쿨백-라이블러(KL) 발산을 사용하여 수식적으로 기법을 정식화하며, MaxCE가 $ \mathbb{E}[\text{KL}(p(\theta|D) \parallel p(\theta|x,y,D))] $ 를 최대화하는 것과 동치임을 보여주며, 이는 비대칭적이므로 엔트로피 감소보다는 신념 이동을 우선시함을 의미한다.
• 엔트로피 최소화 기준이 서브모듈라리티를 만족하지 않음을 입증하여, 이로 인해 국소 최적점에 갇힐 수 있음을 설명하며, MaxCE는 이러한 문제를 피하기 위해 신념 변화를 측정함으로써 이를 회피함을 보여줌.
• 이산 및 연속 설정 모두에 MaxCE를 구현하며, 고차원 문제에서의 계산 가능성을 확보하기 위해 가우시안 프로세스와 효율적인 통합 기법을 사용함.
• MaxCE를 불확실성 샘플링과 조합하여 하이브리드 목표를 구성함으로써, 동시에 은닉 파라미터 학습 향상과 예측 정확도 향상을 달성함.
• PR2 로봇을 사용하여 캐비닛 내 종속성 구조를 학습하는 실제 로봇 탐색 작업에 MaxCE를 적용함으로써, 몇 차례의 상호작용만으로도 성공적으로 구조를 밝혀냄.

실험 결과

연구 질문

• RQ1 왜 탐욕적 엔트로피 최소화 전략은 반복적 정보 수집에서 잘못된 낮은 엔트로피의 신념으로 조기 수렴하는가?
• RQ2 사전 및 사후 신념 간의 교차 엔트로피를 최대화하는 것이 엔트로피 최소화에 비해 수렴 속도를 향상시키고 국소 최적점 문제를 피하는 데 어떻게 기여하는가?
• RQ3 MaxCE는 불확실성 샘플링과 효과적으로 조합될 수 있는가? 이는 동시에 은닉 파라미터 학습과 예측 성능 향상에 어떻게 기여하는가?
• RQ4 어떤 실제 로봇 환경에서 MaxCE는 전통적인 정보 수집 전략보다 뛰어난 성능을 발휘하는가?
• RQ5 KL 발산의 비대칭성이 엔트로피 최소화와 교차 엔트로피 최대화 간의 차이를 신념 갱신 과정에서 어떻게 설명할 수 있는가?

주요 결과

• MaxCE는 은닉 종속성이 있는 합성 베이지안 네트워크 실험을 통해 국소 최적점 문제를 효과적으로 피함을 입증함.
• 합성 실험에서, 엔트로피 최소화 전략은 높은 엔트로피의 잘못된 신념 상태에 갇혀 있었지만, MaxCE만이 시간이 지남에 따라 신념 엔트로피를 유의미하게 감소시킴.
• 엔트로피 최소화 전략은 진정한 동시 종속성 구조를 전혀 올바르게 분류하지 못했지만, MaxCE는 몇 차례 관측 후에 이를 정확히 식별함.
• 실제 로봇 실험에서, PR2 로봇은 강한 사전 신념이 있었음에도 불구하고 MaxCE를 사용해 몇 차례의 상호작용만으로 캐비닛 내 정확한 종속성 구조를 식별함.
• 도어와 열쇠의 종속성에 대한 사전 신념은 전체 상태 커버리지가 부족하여 지속되었지만, 충분한 증거가 축적된 후 MaxCE는 이러한 잘못된 종속성을 결국 거부함.
• MaxCE와 불확실성 샘플링을 조합한 하이브리드 전략은 시간이 지남에 따라 예측 성능을 향상시켰으며, 초기에는 정확도를 희생했지만 결국 순수한 불확실성 샘플링 전략을 능가함.