[논문 리뷰] Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach

Mohammad Ali Alomrani, Reza Moravej외 1명|arXiv (Cornell University)|2021. 09. 21.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 역사적 그래프 데이터로부터 near-optimal 온라인 이분 매칭 정책을 학습하기 위해 딥 네ural 네트워크를 사용하는 강화 학습 프레임워크를 제안한다. 매칭 과정을 마르코프 결정 과정(MDP)으로 모델링하고 그래프 구조, 노드 특성, 매칭 이력 등을 통합함으로써, 합성 및 실세계 데이터셋에서 그레디 기반 보다 3–10% 높은 매칭 품질을 달성한다.

ABSTRACT

The challenge in the widely applicable online matching problem lies in making irrevocable assignments while there is uncertainty about future inputs. Most theoretically-grounded policies are myopic or greedy in nature. In real-world applications where the matching process is repeated on a regular basis, the underlying data distribution can be leveraged for better decision-making. We present an end-to-end Reinforcement Learning framework for deriving better matching policies based on trial-and-error on historical data. We devise a set of neural network architectures, design feature representations, and empirically evaluate them across two online matching problems: Edge-Weighted Online Bipartite Matching and Online Submodular Bipartite Matching. We show that most of the learning approaches perform consistently better than classical baseline algorithms on four synthetic and real-world datasets. On average, our proposed models improve the matching quality by 3--10\\% on a variety of synthetic and real-world datasets. Our code is publicly available at https://github.com/lyeskhalil/CORL.

연구 동기 및 목표

• 수동 알고리즘 설계 없이 복잡한 온라인 이분 매칭 변종에 대한 자동화된 매칭 정책 설계를 목표로 한다.
• 도착 분포 이외의 역사적 그래프 인스턴스를 활용하여 맥락 인식형, 비단기적 매칭 결정을 학습한다.
• 노드 특성, 그래프 희소성, 매칭 이력을 통합된 RL 프레임워크에 통합하여 결정 품질을 향상시킨다.
• 불변 신경망 아키텍처를 사용하여 다양한 그래프 크기와 구조적 변형에 일반화하는 것을 목표로 한다.
• RL 기반 정책이 에지 가중치가 있는 매칭 및 서브모듈라 매칭 설정에서 그레디 및 지도 학습 기반 보다우수한 성능을 보임을 입증한다.

제안 방법

• 현재 그래프, 부분 매칭, 노드 특성으로 정의된 상태를 갖는 마르코프 결정 과정(MDP)으로 온라인 이분 매칭를 수식화한다.
• 히스토리 인코딩 유무에 따라 6종의 딥 러닝 아키텍처를 설계한다: 피드포워드, GNN, 그리고 불변 변종.
• 노드 수준 특성(예: 차수, 가중치, 특성)과 그래프 수준 특성(예: |U|/|V| 비율, 희소성, 커뮤니티 구조)을 공학한다.
• 누적 매칭 보상 최대화를 위해 역사적 그래프 인스턴스에서 정책 기반 강화 학습을 사용하여 정책을 훈련한다.
• 그래프 신경망을 사용하여 노드 간의 종속성을 모델링하고 이분 그래프 내의 구조적 패턴을 포착한다.
• 모델 성능이 다양한 그래프 크기와 노드 식별자에 걸쳐 일반화되도록 불변성 기법을 적용한다.

실험 결과

연구 질문

• RQ1 강화 학습은 기존의 그레디 또는 분포 추정 기반 알고리즘보다 더 나은 온라인 매칭 정책을 학습할 수 있는가?
• RQ2 그래프 구조, 노드 특성, 매칭 이력을 정책 네트워크에 통합하는 것이 얼마나 효과적인가?
• RQ3 불변 신경망 아키텍처는 다양한 그래프 크기와 위상에 걸쳐 더 잘 일반화되는가?
• RQ4 RL 프레임워크는 에지 가중치가 이전 매칭에 따라 달라지는 복잡한 변종인 온라인 서브모듈라 이분 매칭을 처리할 수 있는가?
• RQ5 역사적 데이터의 사용이 에이전트가 그레디가 아닌 전략적 매칭 행동을 학습하는 데 기여하는가?

주요 결과

• 제안된 RL 기반 정책은 네 개인 합성 및 실세계 데이터셋에서 그레디 및 기준 기반 알고리즘 대비 평균 3–10% 높은 매칭 품질을 달성한다.
• 히스토리 정보를 통합한 모델들(예: gnn-hist 및 inv-ff-hist)은 특히 밀도가 높거나 구조적인 그래프에서 히스토리 미통합 대비 일관되게 뛰어난 성능을 보인다.
• 그래프 신경망 모델들(예: gnn-hist)은 노드 특성이 존재할 경우 OSBM 문제에서 최고의 성능을 기록한다.
• 불변 모델은 더 큰 그래프로의 일반화가 더 잘 되며, 비불변 모델은 아키텍처 크기가 동일한 동안 그래프 크기가 증가함에 따라 성능이 저하된다.
• 동적 에지 가중치가 솔루션 경로에 따라 변화하는 점을 감안할 때, RL 프레임워크는 OSBM에서 지도 학습 미세조정(fft-supervised)보다 뛰어난 성능을 보인다.
• 이 방법은 수작업으로 만든 알고리즘에 대한 의존도를 줄이고 다양한 OBM 변종, 특히 서브모듈라 목표에 걸쳐 자동 정책 학습을 가능하게 한다.