[논문 리뷰] On Valid Optimal Assignment Kernels and Applications to Graph Classification

Nils M. Kriege, Pierre-Louis Giscard외 1명|arXiv (Cornell University)|2016. 06. 03.

Machine Learning and Data Classification참고 문헌 18인용 수 83

한 줄 요약

이 논문은 양의 준정부적 최적 할당 커널을 보장하는 강력한 기본 커널의 클래스를 소개하여 효율적이고 타당한 그래프 유사도 측정을 가능하게 한다. 최적 할당 계산을 히스토GRAM 교차로 환원함으로써 제안된 Weisfeiler-Lehman 최적 할당 커널(WL-OA)은 선형 시간 복잡도를 달성하고 기준 그래프 데이터셋에서 최신 기술 성능을 기록하며, 대부분의 작업에서 컨volution 기반 커널을 능가한다.

ABSTRACT

The success of kernel methods has initiated the design of novel positive semidefinite functions, in particular for structured data. A leading design paradigm for this is the convolution kernel, which decomposes structured objects into their parts and sums over all pairs of parts. Assignment kernels, in contrast, are obtained from an optimal bijection between parts, which can provide a more valid notion of similarity. In general however, optimal assignments yield indefinite functions, which complicates their use in kernel methods. We characterize a class of base kernels used to compare parts that guarantees positive semidefinite optimal assignment kernels. These base kernels give rise to hierarchies from which the optimal assignment kernels are computed in linear time by histogram intersection. We apply these results by developing the Weisfeiler-Lehman optimal assignment kernel for graphs. It provides high classification accuracy on widely-used benchmark data sets improving over the original Weisfeiler-Lehman kernel.

연구 동기 및 목표

• 최적 할당 커널이 양의 준정부적(p.s.d.)이 되는 조건을 규명하여 커널 방법에 사용될 수 있음을 보장한다.
• 기존 표준 커널 방법에서 사용할 수 없는 할당 기반 그래프 커널의 부정확한 유사도 측정 문제를 해결한다.
• 강력한 기초 평가 방법을 통해 최적 할당 커널의 계산을 효율적으로 수행함으로써 브루트 포스 할당 평가의 팩토리얼 복잡도를 피한다.
• Weisfeiler-Lehman 정점 레이블링 기법과 유효한 최적 할당 커널을 조합하여 분류 성능 향상을 위한 새로운 그래프 커널인 WL-OA를 설계한다.
• 최적 할당 커널이 컨볼루션 기반 커널을 능가하면서도 계산 가능성을 유지할 수 있음을 입증한다.

제안 방법

• 도메인의 계층적 분할에서 유도된 커널과 동치인 '강력한 커널'이라고 불리는 기본 커널의 클래스를 특성화한다.
• 강력한 기본 커널에서 유도된 최적 할당 커널이 양의 준정부적임을 증명함으로써 커널 방법에 사용될 수 있음을 보장한다.
• 최적 할당 커널의 계산을 히스토GRAM 교차로 환원하여 기존 최적화 기법을 활용해 선형 시간 평가를 가능하게 한다.
• 그래프에 프레임워크를 적용하기 위해 Weisfeiler-Lehman 정점 레이블링 기법을 기본 커널로 사용함으로써 Weisfeiler-Lehman 최적 할당 커널(WL-OA)을 도출한다.
• 계층적 레이블 히스토GRAM을 정렬하여 그래프 간 최적 할당 유사도를 히스토GRAM 교차를 통해 계산한다.
• 기존 방법과의 비교를 위해 랜드마크 기반 표현을 사용하여 표준 커널 분류 파ip라인과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 어떤 종류의 기본 커널 클래스가 최적 할당 커널이 양의 준정부적이 되도록 보장하는가?
• RQ2 최적 할당 커널은 유효한 커널 방법에 적합한 상태를 유지하면서 효율적으로 계산될 수 있는가?
• RQ3 최적 할당 접근 방식은 분류 정확도 측면에서 컨볼루션 기반 그래프 커널을 능가할 수 있는가?
• RQ4 기존 최적 할당 또는 컨볼루션 커널 접근 방식과 비교해 제안된 방법은 계산 효율성을 유지하는가?
• RQ5 강력한 커널의 계층적 구조를 활용하여 선형 시간 복잡도를 가진 효과적인 그래프 커널을 설계할 수 있는가?

주요 결과

• 강력한 기본 커널의 클래스는 유도된 최적 할당 커널이 양의 준정부적이 되게 하며, 이는 커널 방법에서 사용 가능한 유효성을 보장한다.
• 강력한 커널 기반 최적 할당 커널은 히스토GRAM 교차를 통해 선형 시간 내에 계산 가능하며, 허그리안 알고리즘의 팩토리얼 복잡도를 피한다.
• 제안된 Weisfeiler-Lehman 최적 할당 커널(WL-OA)은 아홉 개의 기준 그래프 데이터셋 중 일곱 개에서 가장 높은 분류 정확도를 기록한다.
• Reddit 데이터셋에서 WL-OA는 기존 Weisfeiler-Lehman 커널의 80.8%보다 높은 89.3%의 정확도를 달성하여 성능을 향상시켰다.
• Enzymes 데이터셋에서 WL-OA는 59.9%의 정확도를 기록하여 이어지는 최고 성능 커널(SP, 42.6%)를 크게 앞서며 복잡한 그래프 구조에서 뛰어난 성능을 입증했다.
• 모든 커널, WL-OA 포함, 각 데이터셋당 1분 이내에 커널 행렬 계산이 수행되었으며, SP의 경우 D&D(29분)와 Reddit(2시간)를 제외하고는 모두 이 범위 내에 들어가 제안된 방법의 확장성과 효율성을 보여준다.