[논문 리뷰] On the Computability of Solomonoff Induction and Knowledge-Seeking

Jan Leike, Marcus Hütter|arXiv (Cornell University)|2015. 07. 15.

Computability, Logic, AI Algorithms참고 문헌 16인용 수 5

한 줄 요약

이 논문은 강화학습에서 솔로몬오프 인도션과 지식 탐색형 에이전트의 계산 가능성에 대해 분석하며, 정규화된 보편 사전 $M_{\text{norm}}$ 는 극한 계산 가능하고 실용적 근사에 적합하지만, 비정규화된 ${\overline{M}}$ 과 그 정규화된 형태 ${\overline{M}}_{\text{norm}}$ 는 심지어 극한 계산 가능성조차 되지 않는다는 것을 보여준다. 주요 기여는 라티모어의 베이즈익스프와 기반을 두어 극한 계산 가능하고, 약한 점근적 최적성을 확보하는 강화학습 에이전트를 제안하는 것이다. 이 에이전트는 이론적 최적성을 유지하면서도 계산 가능성을 확보한다.

ABSTRACT

Solomonoff induction is held as a gold standard for learning, but it is known to be incomputable. We quantify its incomputability by placing various flavors of Solomonoff's prior M in the arithmetical hierarchy. We also derive computability bounds for knowledge-seeking agents, and give a limit-computable weakly asymptotically optimal reinforcement learning agent.

연구 동기 및 목표

• 솔로몬오프 인도션과 그 변형의 산술 계층 내 계산 가능성 규명.
• 에이전스와 지식 탐색형 에이전트의 사전 및 정책에서의 계산 불가능성으로 인한 AIXI의 실용적 비가능성 해결.
• 약한 점근적 최적성과 극한 계산 가능성을 동시에 확보하는 강화학습 에이전트 구축.
• 지식 탐색 행동 맥락에서 비정규화된 사전과 정규화된 사전 간의 차이 명확화.

제안 방법

• 논문은 산술 계층을 사용하여 솔로몬오프의 사전 $M$, 그 정규화된 형태 $M_{\text{norm}}$, 비정규화된 ${\overline{M}}$ 과 정규화된 ${\overline{M}}_{\text{norm}}$ 의 계산 가능성 분석.
• 이를 통해 $M$ 과 $M_{\text{norm}}$ 이 극한 계산 가능하다($\Delta^{0}_{2}$)는 것을 증명하고, ${\overline{M}}$ 이 $\Pi^{0}_{2}$-완전하고 ${\overline{M}}_{\text{norm}}$ 이 $\Delta^{0}_{3}$-완전하다는 것을 보이며, 이는 극한 계산 가능성이 아니라는 것을 의미한다.
• 지식 탐색형 에이전트에 대해 $\varepsilon$-최적 정책은 극한 계산 가능하고, 최적 정책은 $\Delta^{0}_{3}$-계산 가능하다는 것을 입증.
• 극한 계산 가능한 정책과 베이즈익스프의 지식 탐색 성분을 조합하여 새로운 에이전트를 구축하며, 지식 탐색과 보상 탐색 행동 간의 임계값 기반 전환 메커니즘을 사용.
• 동적 임계값 $\varepsilon_t = 2^{-t}$ 를 사용하여 탐색과 이용의 균형을 확보하고, 점근적 최적성을 유지하면서도 극한 계산 가능성을 확보.
• 증명은 라티모어의 베이즈익스프 프레임워크를 변형하여 비계산 가능한 최적 정책을 $\varepsilon$-최적 근사치로 대체함으로써 이루어지며, 이 근사치는 최적 값으로 수렴한다.

실험 결과

연구 질문

• RQ1 솔로몬오프의 보편 사전 $M$ 과 그 정규화된 형태 $M_{\text{norm}}$ 은 극한 계산 가능한가? 그리고 산술 계층 내 어디에 위치하는가?
• RQ2 비정규화된 사전 ${\overline{M}}$ 과 그 정규화된 형태 ${\overline{M}}_{\text{norm}}$ 은 계산 가능한가? 만약 그렇지 않다면 정확한 복잡도 클래스는 무엇인가?
• RQ3 엔트로피나 정보 수득 목표를 가진 지식 탐색형 에이전트는 계산 가능하게 만들 수 있는가? 그 최적 정책의 복잡도는 무엇인가?
• RQ4 약한 점근적 최적성을 갖는 동시에 극한 계산 가능한 강화학습 에이전트를 구축하는 것은 가능한가?
• RQ5 베이즈익스프의 비계산 가능한 최적 정책은 $\varepsilon$-최적 근사치로 대체할 수 있는가? 이로 인해 점근적 최적성이 손상되는가?

주요 결과

• 정규화된 보편 사전 $M_{\text{norm}}$ 은 극한 계산 가능하다($\Delta^{0}_{2}$)는 점에서 예측 작업에서의 실용적 근사에 적합하다.
• 비정규화된 사전 ${\overline{M}}$ 은 $\Pi^{0}_{2}$-완전하여 극한 계산 가능성이 아니며, 평가에 있어 근본적인 비가용성 존재함을 시사한다.
• 정규화된 형태 ${\overline{M}}_{\text{norm}}$ 은 $\Delta^{0}_{3}$-완전하여 극한 계산 가능성을 초월하고 직접 계산에 비가능함을 의미한다.
• 지식 탐색형 에이전트의 $\varepsilon$-최적 정책은 극한 계산 가능하고, 최적 정책은 $\Delta^{0}_{3}$-계산 가능하다.
• 동적 임계값 기반 전환과 $\varepsilon$-최적 정책을 조합하여 극한 계산 가능하고 약한 점근적 최적성을 갖는 새로운 강화학습 에이전트를 구축하였다.
• 제안된 에이전트는 탐색 단계의 밀도가 점점 사라지고 정책의 가치가 카사로 평균에서 최적 값으로 수렴함으로써 약한 점근적 최적성을 달성한다.