[논문 리뷰] Fast Detection of Maximum Common Subgraph via Deep Q-Learning.

Yunsheng Bai, Derek Xu외 7명|arXiv (Cornell University)|2020. 02. 08.

Advanced Graph Neural Networks참고 문헌 45인용 수 14

한 줄 요약

이 논문은 최대 공통 부분그래프(MCS)를 근사하기 위해 그래프 신경망과 딥 Q-네트워크를 활용한 딥 강화학습 접근법인 RLMCS를 제안한다. 탐색 트리와 새로운 공동 그래프 임베딩 방법을 활용하여 RLMCS는 높은 정확도와 효율성을 달성하며, 실제 데이터셋에서 정확도와 속도 면에서 정확한 솔버와 지도 학습 모델을 능가한다.

ABSTRACT

Detecting the Maximum Common Subgraph (MCS) between two input graphs is fundamental for applications in biomedical analysis, malware detection, cloud computing, etc. This is especially important in the task of drug design, where the successful extraction of common substructures in compounds can reduce the number of experiments needed to be conducted by humans. However, MCS computation is NP-hard, and state-of-the-art exact MCS solvers do not have worst-case time complexity guarantee and cannot handle large graphs in practice. Designing learning based models to find the MCS between two graphs in an approximate yet accurate way while utilizing as few labeled MCS instances as possible remains to be a challenging task. Here we propose RLMCS, a Graph Neural Network based model for MCS detection through reinforcement learning. Our model uses an exploration tree to extract subgraphs in two graphs one node pair at a time, and is trained to optimize subgraph extraction rewards via Deep Q-Networks. A novel graph embedding method is proposed to generate state representations for nodes and extracted subgraphs jointly at each step. Experiments on real graph datasets demonstrate that our model performs favorably to exact MCS solvers and supervised neural graph matching network models in terms of accuracy and efficiency.

연구 동기 및 목표

• 대규모 그래프에서 NP-완전 문제인 최대 공통 부분그래프(MCS) 탐지를 해결하기 위해, 약물 설계 및 악성코드 탐지와 같은 분야에서의 적용을 고려한다.
• 라벨이 부여된 MCS 인스턴스에 대한 의존도를 최소화하면서도 높은 정확도로 MCS를 근사하는 학습 기반 방법을 개발한다.
• 정확한 MCS 솔버는 최악의 경우 시간 복잡도 보장을 하지 못하고 대규모 그래프에서 어려움을 겪기 때문에, 이를 개선하여 계산 효율성을 높인다.
• 노드 단위로 일괄적으로 매칭함으로써 동적으로 공통 부분그래프를 탐색하고 추출하는 강화학습 프레임워크를 설계한다.
• 추출 과정의 각 단계에서 노드 및 부분그래프 표현을 동시에 포괄하는 공동 그래프 임베딩 기법을 도입한다.

제안 방법

• RLMCS는 부분그래프 공통성에서 유도된 보상 신호를 최대화함으로써 부분그래프 추출을 최적화하기 위해 딥 Q-네트워크(DQN) 기반의 강화학습 프레임워크를 사용한다.
• 탐색 트리 구조를 통해 두 입력 그래프 간에 한 번에 한 쌍의 노드를 매칭함으로써 점진적인 부분그래프 구축을 가능하게 한다.
• 각 단계에서 노드 특징과 변화하는 부분그래프 구조를 함께 인코딩하는 새로운 그래프 임베딩 방법을 도입하여 상태 표현을 생성한다.
• DQN 에이전트는 이 상태 표현을 사용하여 누적 보상을 최대화하는 행동(노드 쌍 매칭)을 선택한다.
• 경험 재생과 타겟 네트워크를 사용하여 엔드 투 엔드로 모델을 훈련시키며, 학습 안정성을 높이고 보상 신호를 더 큰, 더 공통적인 부분그래프를 선호하도록 조정한다.
• 유도적 및 전도적 추론을 모두 지원하여, 최소한의 피팅 튜닝으로도 새로운 그래프 쌍에 일반화할 수 있다.

실험 결과

연구 질문

• RQ1 정확한 솔버에 비해 계산 시간을 크게 줄일 수 있는가? 강화학습 기반 접근법이 경쟁 가능한 MCS 탐지 정확도를 달성할 수 있는가?
• RQ2 점진적인 MCS 추출 과정에서 변화하는 부분그래프 상태를 공동 그래프 임베딩 방법이 얼마나 효과적으로 포착하는가?
• RQ3 라벨이 부여된 MCS 인스턴스가 제한된 상황에서 RLMCS가 얼마나 잘 일반화되는가?
• RQ4 실제 그래프 데이터셋에서 RLMCS는 지도 학습 기반 신경망 기반 그래프 매칭 모델에 비해 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ5 RLMCS의 탐색 트리 메커니즘은 부분그래프 품질을 유지하면서도 더 큰 그래프에 효과적으로 스케일링될 수 있는가?

주요 결과

• RLMCS는 실제 그래프 데이터셋에서 최신 지도 학습 기반 신경망 기반 그래프 매칭 모델보다 높은 정확도를 달성하며, 특히 더 큰 공통 부분구조를 탐지하는 데서 뛰어난 성능을 보였다.
• 모델는 정확한 솔버에 비해 뛰어난 효율성을 보이며, 특히 대규모 그래프에서 MCS 탐지에 훨씬 적은 시간이 소요되었다.
• 계산 복잡도로 인해 정확한 방법으로는 처리가 불가능한 그래프를 RLMCS는 빠른 런타임 확장성 덕분에 처리할 수 있었다.
• 공동 그래프 임베딩 방법은 효과적인 상태 표현 학습을 가능하게 하여 DQN 프레임워크 내에서 안정적이고 높은 보상의 정책 학습에 기여했다.
• 모델는 최소한의 레이블 데이터로도 새로운 그래프 쌍에 잘 일반화되어, 약물 설계와 같은 실생활 응용 분야에서의 실용적 구현을 지원한다.
• 실험 결과, RLMCS는 입력 그래프의 구조적 유사성이 낮은 경우에도 높은 정밀도와 재현율을 유지하는 것으로 나타났다.