[논문 리뷰] Hypermodels for Exploration

Vikranth Dwaracherla, Xiuyuan Lu외 4명|arXiv (Cornell University)|2020. 06. 12.

Machine Learning and Algorithms참고 문헌 15인용 수 10

한 줄 요약

이 논문은 강화학습에서 지식적 불확실성을 표현하기 위한 계산적으로 효율적인 방법으로, 기본 모델의 가중치를 매개변수화한 가족인 하이퍼모델(hypermodels)을 소개한다. 깊이 있는 신경망 앙상블의 대안으로서, 선형 하이퍼모델이나 하이퍼네트워크를 사용해 함수에 대한 사후분포를 근사함으로써, 확장 가능한 톰슨 샘플링과 정보 지향 샘플링과 같은 고급 탐색 전략을 가능하게 하여, 훨씬 적은 파라미터로도 큰 앙상블과 유사한 성능을 달성한다.

ABSTRACT

We study the use of hypermodels to represent epistemic uncertainty and guide exploration. This generalizes and extends the use of ensembles to approximate Thompson sampling. The computational cost of training an ensemble grows with its size, and as such, prior work has typically been limited to ensembles with tens of elements. We show that alternative hypermodels can enjoy dramatic efficiency gains, enabling behavior that would otherwise require hundreds or thousands of elements, and even succeed in situations where ensemble methods fail to learn regardless of size. This allows more accurate approximation of Thompson sampling as well as use of more sophisticated exploration schemes. In particular, we consider an approximate form of information-directed sampling and demonstrate performance gains relative to Thompson sampling. As alternatives to ensembles, we consider linear and neural network hypermodels, also known as hypernetworks. We prove that, with neural network base models, a linear hypermodel can represent essentially any distribution over functions, and as such, hypernetworks are no more expressive.

연구 동기 및 목표

• 순차적 결정 문제에서 불확실성 표현을 위한 대규모 딥러닝 앙상블 학습의 계산 비용 문제를 해결한다.
• 높은 학습 비용으로 인해 일반적으로 수십 개의 모델로 제한되는 표준 앙상블의 한계를 극복한다.
• 특히 선형 하이퍼모델과 하이퍼네트워크를 포함한 하이퍼모델 아키텍처가, 불확실성 근사에 있어 앙상블보다 더 높은 계산 효율성과 표현 능력을 가지는지 탐구한다.
• 하이퍼모델이 기존 앙상블에서 계산적으로 비현실적인 정보 지향 샘플링과 같은 더 정교한 탐색 전략을 지원할 수 있는지 조사한다.
• 하이퍼네트워크가 복잡한 함수 분포를 표현하는 데 있어 선형 하이퍼모델을 초월한 이점이 있는지, 혹은 단순한 선형 하이퍼모델로도 충분한지 판단한다.

제안 방법

• 기본 모델의 잠재 인덱스(기본 분포에서 추출)를 기반으로 하이퍼모델이 기본 모델을 매핑함으로써 앙상블 접근법을 일반화한다.
• 기본 모델에 대한 사후분포를 근사하기 위해, 변형된 데이터에서 경사 하강법을 사용해 하이퍼모델을 학습한다.
• 선형 하이퍼모델을 사용하여, 정규분포를 따르는 잠재 변수를 선형 변환을 통해 기본 모델 파라미터로 매핑한다.
• 하이퍼네트워크를 사용하여, 잠재 인덱스에서 기본 모델 파라미터로의 매핑을 신경망으로 구현한다.
• 하이퍼모델의 출력 분포에서 기본 모델을 샘플링하여 톰슨 샘플링을 근사한다.
• 하이퍼모델의 불확실성 추정치를 활용해 분산 기반의 정보 지향 샘플링(IDS) 변종을 구현한다.

실험 결과

연구 질문

• RQ1 선형 하이퍼모델과 같은 대체 하이퍼모델 아키텍처가, 근사 톰슨 샘플링에 있어 전통적인 앙상블보다 계산 효율성과 성능 면에서 뛰어나게 되는가?
• RQ2 하이퍼모델이 기존 앙상블에서 계산적으로 비현실적인 정보 지향 샘플링과 같은 더 지능적인 탐색 전략을 가능하게 하는가?
• RQ3 복잡한 함수 분포를 표현하기 위해 하이퍼네트워크가 반드시 필요한가, 아니면 간단한 선형 하이퍼모델로도 충분한가?
• RQ4 기본 모델이 신경망일 경우, 선형 하이퍼모델의 표현 능력은 어떠한가?
• RQ5 표현력 면에서 이론적으로 동등한데도 불구하고, 실질적으로 하이퍼네트워크가 선형 하이퍼모델보다 통계적 또는 계산적 이점이 있는가?

주요 결과

• 선형 하이퍼모델은 앙상블 대비 놀라운 계산 효율성 향상을 달성하여, 수백 또는 수천 개의 모델이 필요한 성능을 훨씬 적은 파라미터로도 달성한다.
• 일개의 희소 선형 밴딧 문제에서, 정보 지향 샘플링을 사용한 선형 하이퍼모델은 톰슨 샘플링을 크게 능가하며, 누적 손실 곡선에서 명확하고 지속적인 우월성이 나타난다.
• 기본 모델이 신경망일 경우, 유한 도메인 내에서 선형 하이퍼모델은 함수에 대한 거의 모든 확률 분포를 표현할 수 있으며, 이는 정리 1에 의해 증명된다.
• 이 이론적 결과는 하이퍼네트워크가 신경망 기반 기본 모델에 대해 선형 하이퍼모델보다 추가적인 표현 능력을 제공하지는 않음을 시사한다.
• 이론적으로 동등하더라도, 하이퍼네트워크는 일반화나 학습 효율성 면에서 실질적인 이점을 제공할 수 있으며, 이는 아직 미해결 과제로 남아 있다.
• 하이퍼모델의 사용은 복잡한 환경에서 정보 지향 샘플링의 효과적인 구현을 가능하게 하여, 효율적인 불확실성 표현을 통해 고급 탐색 전략이 실현 가능하다는 것을 입증한다.