[논문 리뷰] The optimal assignment kernel is not positive definite

Jean‐Philippe Vert|ArXiv.org|2008. 01. 26.

Machine Learning and Algorithms참고 문헌 5인용 수 49

한 줄 요약

이 논문은 레이블이 부여된 그래프와 구조적 데이터를 비교하기 위해 부분 구조의 최적 매칭을 통한 최적 할당 커널이 항상 양의 정부호이지 않음을 입증한다. 이는 이전의 주장과 모순된다. 가우시안 커널 기반의 부분 구조가 정사각형을 이룰 수 있는 반례를 통해 저자들은 결과적으로 얻어진 그램 행렬이 음의 고유값을 가질 수 있음을 보여주며, 힐버트 공간 임bedding의 타당성을 상실하고 커널 방법 이론적 기초에 도전한다.

ABSTRACT

We prove that the optimal assignment kernel, proposed recently as an attempt to embed labeled graphs and more generally tuples of basic data to a Hilbert space, is in fact not always positive definite.

연구 동기 및 목표

• 최적 할당 커널이 구조적 데이터에 대해 양의 정부호 커널로 이론적으로 타당한지 조사하기.
• 이전의 양의 정부호 성질에 대한 주장과 특정 경우에서의 커널 실제 행동 간의 모순을 해결하기.
• 표준 조건 하에서 커널이 양의 정부호가 아닐 수 있음을 보여주는 엄밀한 반례를 제시하기.
• 커널 방법을 사용할 때 그램 행렬의 음의 고유값 문제에 대해 실무자들에게 경고하기.

제안 방법

• 저자들은 최적 할당 커널을 두 튜플의 부분 구조 간의 쌍별 커널 값 합의 최대값으로 정의하며, 헝가리안 알고리즘을 통해 계산한다.
• 양의 정부호이자 음이 아닌 것으로 알려진 가우시안 라디얼 기저 함수 커널(k₁(x,y) = exp(−γ||x−y||²))를 사용하여 반례를 구성한다.
• 이 점들 간의 모든 서로 다른 쌍으로부터 여섯 개의 2-튜플을 형성하고, 최적 할당 형식을 통해 이들 간의 커널 값을 계산한다.
• 거리 공식 d(x,y)² = k(x,x) + k(y,y) − 2k(x,y)를 사용하여 힐버트 공간 임bedding 조건을 시험한다.
• 기하학적 모순을 유도하기 위해, 두 대각선 쌍(AB,CD) 간의 거리가 정사각형 구성에서 예상되는 유클리드 거리와 일치하지 않음을 보여, 임bedding 불가능성을 암시한다.
• 필요한 힐버트 공간 내의 내적 구조가 위배되므로 커널이 양의 정부호일 수 없다는 결론을 이끌어낸다.

실험 결과

연구 질문

• RQ1 최적 할당 커널은 레이블이 부여된 그래프와 구조적 데이터에 대해 항상 양의 정부호인가?
• RQ2 양의 정부호 기반 커널을 사용함에도 불구하고 커널이 양의 정부호가 아닐 수 있는 반례를 구성할 수 있는가?
• RQ3 최적 할당 커널에서 힐버트 공간 임bedding에 실패하는 기하학적 이유는 무엇인가?
• RQ4 이전 연구([2] 등)에서의 양의 정부호 성질 증명에 논리적 오류가 있었던 이유는 무엇인가?
• RQ5 그램 행렬 내 음의 고유값이 커널 방법 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 최적 할당 커널은 가우시안 기반 커널을 사용하는 R² 내 네 점의 반례를 통해 항상 양의 정부호가 아님을 입증한다.
• 반례에서 여섯 개의 2-튜플 간의 커널 값은 힐버트 공간에서 삼각 부등식을 위반하는 기하 구성을 이끌어내며, 이는 임bedding 불가능성을 암시한다.
• 모순은 대각선 쌍(AB,CD) 간의 거리가 정사각형 구성에서 예상되는 거리와 일치하지 않기 때문에 발생한다. 즉, d(AB,CD)² = 4−4a 이지만 기대되는 값은 4−4a²이다.
• [2]에서의 양의 정부호 성질 주장은 논리적 오류로 잘못되었으며, A≤B 및 A<0일 때 B<0을 유추하는 것은 타당하지 않다.
• 커널은 여전히 실무에서 유용할 수 있으나, 음의 고유값이 발생할 수 있으며, 이를 신중하게 다루어야 하며 예를 들어 그램 행렬을 양의 준정부호 쿠르 범위로 투영하는 것이 필요하다.
• 이 결과는 커널 방법과 관련된 과학 문헌에서 이론적 가정과 오류 전파에 주의할 필요성을 부각시킨다.