[논문 리뷰] Sampling Through the Lens of Sequential Decision Making

Jason Dou, Alvin Qingkai Pan외 4명|arXiv (Cornell University)|2022. 01. 01.

Data Stream Mining Techniques인용 수 7

한 줄 요약

이 논문은 인지과학의 시스템 1(경험적 기반)과 시스템 2(고도로 사고하는) 사고 방식을 영감으로 삼아, 표현 학습에서의 샘플링을 순차적 의사결정 문제로 모델링하는 강화학습 기반 프레임워크인 적응형 샘플링 보상(ASR)을 제안한다. ASR는 누적 보상을 최대화하기 위해 정책 그래เดียน트 방법을 사용해 샘플 선택을 동적으로 최적화하며, 세 가지 벤치마크 데이터셋에서 정보 검색 및 클러스터링 작업에서 최신 기술 수준의 성능을 달성한다. 특히 정책 초기화 시 'ASR 중력우물' 현상이 관찰되었다.

ABSTRACT

Sampling is ubiquitous in machine learning methodologies. Due to the growth of large datasets and model complexity, we want to learn and adapt the sampling process while training a representation. Towards achieving this grand goal, a variety of sampling techniques have been proposed. However, most of them either use a fixed sampling scheme or adjust the sampling scheme based on simple heuristics. They cannot choose the best sample for model training in different stages. Inspired by "Think, Fast and Slow" (System 1 and System 2) in cognitive science, we propose a reward-guided sampling strategy called Adaptive Sample with Reward (ASR) to tackle this challenge. To the best of our knowledge, this is the first work utilizing reinforcement learning (RL) to address the sampling problem in representation learning. Our approach optimally adjusts the sampling process to achieve optimal performance. We explore geographical relationships among samples by distance-based sampling to maximize overall cumulative reward. We apply ASR to the long-standing sampling problems in similarity-based loss functions. Empirical results in information retrieval and clustering demonstrate ASR's superb performance across different datasets. We also discuss an engrossing phenomenon which we name as "ASR gravity well" in experiments.

연구 동기 및 목표

• 표현 학습에서 고정되거나 히우리스틱 기반의 샘플링 전략이 학습 단계에 따라 적응하지 못하는 한계를 해결하기 위해.
• 인지과학의 시스템 2 사고 방식을 모방하기 위해 강화학습을 사용해 샘플링 과정을 순차적 의사결정 문제로 모델링하기 위해.
• 장기적인 성능을 극대화하기 위해 샘플을 동적으로 선택하는 보상 유도 프레임워크를 개발하기 위해.
• 다양한 하류 작업에서 제안된 ASR 프레임워크가 기존의 샘플링 기준보다 뛰어나다는 것을 경험적으로 검증하기 위해.

제안 방법

• 에이전트가 상태 표현에 기반해 샘플을 선택하는 방식으로, 표현 학습의 샘플링 과정을 마르코프 결정 과정(MDP)으로 공식화한다.
• 평가 지표인 Recall@K, NMI, F1을 기반으로 보상 함수를 정의하여 정책 학습을 유도한다.
• 정책 그래디언트 방법을 사용해 정책을 최적화하며, PPO와 REINFORCE를 활용하고, 신경망을 정책을 파arameter화하는 데 사용한다.
• 거리 기반 샘플링을 사용해 샘플 간의 지리적 관계를 모델링하여 선택된 배치의 다양성과 정보성 향상을 도모한다.
• 대조적 표현 학습에서 트리플릿 및 마진 손실 함수에 ASR 프레임워크를 적용한다.
• 학습 중 관찰된 'ASR 중력우물' 현상을 완화하기 위해 정책 네트워크의 새로운 초기화 전략을 도입한다.

실험 결과

연구 질문

• RQ1 강화학습이 표현 학습에서의 적응형 샘플링에 효과적으로 적용될 수 있는가? 히우리스틱 기반 방법을 능가하는가?
• RQ2 정책 초기화 방법의 선택이 ASR 프레임워크의 수렴성과 성능에 미치는 영향은 무엇인가?
• RQ3 학습 기간이 ASR 프레임워크 성능에 미치는 영향는 어떠한가? 과적합은 언제 발생하는가?
• RQ4 ASR 프레임워크는 정보 검색 및 클러스터링과 같은 다양한 표현 학습 작업과 다른 데이터셋에 일반화되는가?
• RQ5 'ASR 중력우물' 현상의 원인은 무엇이며, 초기화 또는 최적화 기법을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• CUB200-2011 데이터셋에서 PPO를 사용한 ASR는 모든 기준보다 뛰어나 60.63%의 Recall@1과 0.6629의 NMI를 기록했다.
• CARS196 데이터셋에서 ASR는 71.50%의 Recall@1과 0.5993의 NMI를 달성하여, 반하드 및 거리 기반 샘플링을 모두 능가했다.
• SOP 데이터셋에서 ASR는 94.47%의 Recall@10과 0.8914의 NMI를 기록하여 다양한 데이터 분포에 걸쳐 강력한 일반화 능력을 보였다.
• 'normal high' 초기화를 사용할 경우, 약 15번째 에포크에서 성능이 급격히 떨어지는 'ASR 중력우물' 현상이 관찰되었다.
• ASR의 최적 학습 기간은 30에서 50 에포크 사이이며, 이 범위를 초과하면 과적합으로 인해 성능이 저하된다.
• 'normal low' 또는 'uniform low' 분포로 초기화하면 중력우물 효과가 최소화되며, 이는 분산을 줄이고 극단적인 정책 업데이트를 방지하기 때문이다.