[논문 리뷰] End to end learning and optimization on graphs

Bryan Wilder, Eric Ewing외 2명|arXiv (Cornell University)|2019. 05. 31.

Advanced Graph Neural Networks참고 문헌 47인용 수 46

한 줄 요약

ClusterNet은 그래프 노드를 임베딩하고 소프트 클러스터링 계층을 통해 그래프 최적화 결정으로 미분 가능하게 매핑하여 학습+최적화 작업에서 2단계 및 순수 엔드투엔드 기준선보다 더 우수한 성능을 달성한다.

ABSTRACT

Real-world applications often combine learning and optimization problems on graphs. For instance, our objective may be to cluster the graph in order to detect meaningful communities (or solve other common graph optimization problems such as facility location, maxcut, and so on). However, graphs or related attributes are often only partially observed, introducing learning problems such as link prediction which must be solved prior to optimization. Standard approaches treat learning and optimization entirely separately, while recent machine learning work aims to predict the optimal solution directly from the inputs. Here, we propose an alternative decision-focused learning approach that integrates a differentiable proxy for common graph optimization problems as a layer in learned systems. The main idea is to learn a representation that maps the original optimization problem onto a simpler proxy problem that can be efficiently differentiated through. Experimental results show that our ClusterNet system outperforms both pure end-to-end approaches (that directly predict the optimal solution) and standard approaches that entirely separate learning and optimization. Code for our system is available at https://github.com/bwilder0/clusternet.

연구 동기 및 목표

• 그래프가 부분적으로 관찰될 때 그래프에서 학습과 최적화의 통합을 동기 부여하고 형식화한다.
• 임베딩 공간에서의 소프트 K-평균(soft K-means)처럼 미분 가능 프록시를 도입하여 이산 그래프 최적화 문제를 근사한다.
• 예측 정확도가 아니라 다운스트림 의사결정의 품질을 최적화하는 엔드투엔드 학습을 시연한다.
• 학습된 표현이 여러 도메인에 걸친 다운스트림 작업에 대해 높은 가치를 갖는 해를 생성함을 보인다.

제안 방법

• 관찰된 엣지와 노드 특징에 의해 구동되는 그래프 신경망(예: GCN)을 사용하여 그래프 노드를 연속 공간에 임베딩한다.
• 노드를 K개의 클러스터에 소프트 할당으로 배정하는 미분 가능 K-평균 클러스터링 계층을 포함한다.
• 거리의 소프트맥스(역온도 beta)를 이용한 미분 가능 형태의 K-평균을 통해 클러스터 중심과 소프트 할당을 업데이트하는 순전파를 사용한다.
• 암시적 함수 정리를 사용하여 클러스터링 고정점에 대해 미분하고 임베딩에 대한 기울기를 얻는다.
• 클러스터 할당을 그래프 최적화 문제(파티션 분할 또는 부분집합 선택)에 대한 소프트 해로 해석하고 이러한 소프트 해에 대해 미분 가능 기대 손실을 계산한다.
• 소프트 클러스터링을 이산 결정으로 전환하기 위한 두 가지 실용적 전략을 제시한다: (i) 소프트 파티션을 통한 파티션 분할 및 (ii) 클러스터 중심에 대한 확률 질량을 이용한 부분집합 선택, 테스트 시 반올림(예: pipage 반올림)을 수행한다.
• 효율적인 근사/역전파를 위한 근사 보장 및 보장을 제시하여 확장 가능한 엔드투엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의사결정에 초점을 둔 학습이 2단계 및 순수 엔드투엔드 방법보다 다운스트림 최적화 품질을 향상시킬 수 있는가?
• RQ2 임베딩 기반 소프트 클러스터링이 이산 그래프 최적화 문제(파티션 분할 및 부분집합 선택)에 대한 효과적인 미분 가능한 프록시로 작동하는가?
• RQ3 모델이 보이지 않는 그래프에 얼마나 잘 일반화되며, 미세조정이 새로운 그래프의 성능에 어떤 영향을 미치는가?
• RQ4 클러스터링 계층을 통한 정확한 역전파와 근사 역전파의 계산적 트레이드오프는 무엇인가?

주요 결과

• ClusterNet은 커뮤니티 탐지 및 시설 위치 작업에서 학습과 최적화를 결합한 기준선이나 순수 엔드투엔드 방법보다 일관되게 우수하다.
• 2단계 방식은 관찰된 엣지에서만 학습하는 것에 비해 때때로 성능이 떨어져 엔드투엔드 의사결정 중심 학습의 가치를 보여준다.
• GCN-e2e(순수 엔드투엔드)는 종종 ClusterNet과 동등하거나 열세를 보이며, 알고리즘 구조를 미분 가능 계층으로 통합하는 이점을 강조한다.
• ClusterNet은 보지 않은 그래프과 분포에 걸쳐 일반화하며, 가능하면 미세조정이 추가 이점을 제공한다.
• 순전파는 가장 큰 그래프에서 최대 0.23초에 가능하며, 역전파의 근사 확장이 가능한 확장 가능한 구조를 지원한다.