[논문 리뷰] Graph Bayesian Optimization: Algorithms, Evaluations and Applications

Jiaxu Cui, Bo Yang|arXiv (Cornell University)|2018. 05. 03.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 6

한 줄 요약

이 논문은 그래프 커널과 가우시안 프로세스를 통합함으로써 임의의 그래프 구조 데이터로의 베이지안 최적화를 확장하는 새로운 프레임워크인 그래프 베이지안 최적화(GBO)를 소개한다. 이 방법은 암묵적인 구조적 특징을 효과적으로 활용하고 중요한 속성을 자동으로 식별하여, 도로 네트워크 최적화 및 단백질 설계를 포함한 네 가지 다양한 응용 분야에서 기존 방법들을 능가한다.

ABSTRACT

Network structure optimization is a fundamental task in complex network analysis. However, almost all the research on Bayesian optimization is aimed at optimizing the objective functions with vectorial inputs. In this work, we first present a flexible framework, denoted graph Bayesian optimization, to handle arbitrary graphs in the Bayesian optimization community. By combining the proposed framework with graph kernels, it can take full advantage of implicit graph structural features to supplement explicit features guessed according to the experience, such as tags of nodes and any attributes of graphs. The proposed framework can identify which features are more important during the optimization process. We apply the framework to solve four problems including two evaluations and two applications to demonstrate its efficacy and potential applications.

연구 동기 및 목표

• 생물정보학, 사회망, 교통망 등에서 흔히 나타나는 그래프 구조 데이터 상에서 비용이 많이 드는 블랙박스 함수 최적화 문제를 다루는 것.
• 기존의 베이지안 최적화가 벡터 입력에 국한되어 있으며 내재된 그래프 구조를 활용하지 못하는 한계를 극복하는 것.
• 그래프 커널과 서rogate 모델링을 조합하여 단백질 구조, 사회망, 도로 네트워크 등 임의의 그래프를 처리할 수 있는 유연하고 일반적인 프레임워크를 개발하는 것.
• 최적화 과정에서 수동으로 설계된 특징에 의존하지 않고 자동으로 특징 중요도를 식별함으로써 설명 가능성을 향상시키는 것.
• 평가 작업과 실제 응용 분야에서 프레임워크의 유효성을 입증하여 우수한 성능과 일반화 능력을 보여주는 것.

제안 방법

• 그래프 입력을 그래프 커널을 사용해 재생핵 힐버트 공간으로 매핑함으로써 커널 기반 가우시안 프로세스 회귀를 가능하게 하는 그래프 베이지안 최적화(GBO) 프레임워크를 제안한다.
• 그래프 커널(예: 그래프릿 커널, 최단경로 커널)을 가우시안 프로세스와 통합하여 그래프 공간 상의 블랙박스 목표 함수를 모델링한다.
• 기대 개선도(Expected Improvement, EI) 확보 함수를 사용하여 활성 샘플링을 이끌며, 그래프 탐색 공간에서 탐색과 탐색의 균형을 이룬다.
• 비용이 많이 드는 목표 함수를 반복적으로 쿼리하고 GP 서rogate 모델을 업데이트함으로써 그래프 구조 최적화를 수행한다.
• CART 기반 규칙 추출을 적용하여 최적화 과정을 해석하고, 도로 네트워크에서의 교통 제어 규칙과 같은 실질적인 힌트를 도출한다.
• 딥 러닝 모델(예: 그래프 신경망)로 GP 서rogate를 교체할 수 있도록 하여 복잡한 데이터 유형에 대한 확장성을 제공한다.

실험 결과

연구 질문

• RQ1 벡터 입력에 국한되지 않고, 임의의 그래프 구조 입력을 효과적으로 다룰 수 있도록 베이지안 최적화를 확장할 수 있는가?
• RQ2 그래프 커널을 가우시안 프로세스와 통합하여 목표 함수를 그래프 공간에서 모델링하면서도 구조적 정보를 유지할 수 있는가?
• RQ3 GBO 프레임워크가 최적화 과정에서 중요한 특징(예: 노드 레이블, 속성, 부분그래프 패턴 등)을 얼마나 잘 자동으로 식별하고 우선순위를 정할 수 있는가?
• RQ4 비용이 많이 드는 평가를 수반하는 실제 그래프 최적화 문제에서 GBO 프레임워크는 기존 방법들에 비해 얼마나 우수한 성능을 보이는가?
• RQ5 최적화 과정에서 일반화 가능한 규칙나 힌트(예: 도시 도로 네트워크에서의 교통 제어 정책)를 도출할 수 있는가?

주요 결과

• GBO 프레임워크는 그래프 구조 최적화에서 기존 기준 방법들을 뛰어넘는 성능을 보였으며, 도로 네트워크 최적화에서 Open all areas 전략 대비 4.33% 향상, Close all areas 전략 대비 2.33% 향상된 성과를 기록했다.
• GBO 프레임워크에서 유도된 규칙 기반 전략은 랜덤 영역 개방 전략 대비 3.31% 향상된 성능을 보였으며, Haidian-test와 같은 새로운 도로 네트워크에서도 뛰어난 일반화 능력을 입증했다.
• 프레임워크는 핵심 구조적 특징을 성공적으로 식별했다. 예를 들어, 차수(degree)가 낮고 Bet가 중간일 경우 도로 영역을 닫을 확률이 71.4%로 높아, 효과적인 교통 혼잡 완화가 가능하다는 것을 시사한다.
• 단백질 구조 최적화에서, 내부 도로가 많은 그래프일수록 닫힐 가능성이 더 높다는 점(55.3% 확률)을 식별하여 구조적 특징의 효과적인 활용을 보여주었다.
• 그래프 커널과 가우시안 프로세스의 통합을 통해 고비용 블랙박스 함수의 정확한 서rogate 모델링이 가능해져 평가 횟수를 줄일 수 있었다.
• CART 기반 규칙 추출을 통해 프레임워크의 해석 가능성이 향상되었으며, '내부 도로가 적은 영역을 닫는다' 또는 '고연결성 영역을 연다'와 같은 실질적인 힌트를 도출하였다.