[논문 리뷰] Unsupervised Deep Haar Scattering on Graphs

Xu Chen, Xiuyuan Cheng외 1명|arXiv (Cornell University)|2014. 06. 09.

Topological and Geometric Data Analysis참고 문헌 19인용 수 20

한 줄 요약

이 논문은 기하학적 지식 없이도 신호의 변동에서 다중 척도 그래프 기하학을 학습하고, 덧셈, 뺄셈, 절댓값의 깊은 계층적 조합을 통해 불변 표현을 계산하는 비지도 학습 딥 헤어 산란 변환을 제안한다. 다항식 시간 내에 쌍 매칭을 통해 연결된 다중 해상도 이웃을 추정하여 평균 총 변동량을 최소화함으로써, 사전 기하학 지식 없이도 기하학적으로 비정규적인 구면 상의 불규칙 샘플링 신호와 뒤섞인 이미지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The classification of high-dimensional data defined on graphs is particularly difficult when the graph geometry is unknown. We introduce a Haar scattering transform on graphs, which computes invariant signal descriptors. It is implemented with a deep cascade of additions, subtractions and absolute values, which iteratively compute orthogonal Haar wavelet transforms. Multiscale neighborhoods of unknown graphs are estimated by minimizing an average total variation, with a pair matching algorithm of polynomial complexity. Supervised classification with dimension reduction is tested on data bases of scrambled images, and for signals sampled on unknown irregular grids on a sphere.

연구 동기 및 목표

• 기하학적 정보가 사전에 제공되지 않은 불규칙한 그래프 구조에서 신호를 분류하는 문제에 대응하기 위해.
• 노드 재배치 또는 데이터 이동과 같은 신호 이동에 강건한 순열 불변 표현을 개발하기 위해.
• 학습 신호 간 평균 총 변동량을 최소화하여 비지도로 다중 척도 그래프 이웃을 추정하기 위해.
• 레이블이 없는 그래프 구조를 요구하지 않고 산란 특징의 차원 축소를 통해 지도 학습 분류를 가능하게 하기 위해.
• 실세계 데이터, 예를 들어 기하학적 샘플링 구조가 알려지지 않은 뒤섞인 이미지와 구면 상의 신호에서의 효능을 입증하기 위해.

제안 방법

• 헤어 산란 변환은 순열 불변 연산자로 구성된 깊은 네트워크로 구현되며, 각 쌍의 계수에 대해 합과 절댓값 차이를 계산한다: (α, β) → (α+β, |α−β|).
• 이 변환은 다중 척도에 걸쳐 반복적으로 적용되어 각 레이어가 신호의 더 흐린, 더 불변된 표현을 나타내는 계층적 분해를 형성한다.
• 다중 척도 이웃은 학습 예제 간의 신호 총 변동량을 최소화하는 쌍 매칭 문제를 다항식 시간 알고리즘을 사용해 풀어 추정한다.
• 결과적으로 산란 계수는 국소적 신호 이동에 대해 불변이며, 그래프 상의 다중 척도 구조적 패턴을 포착한다.
• 차원 축소는 지도 학습 기반 부분 최소 제곱 회귀를 통해 정보가 많은 특징을 선택한 후 가우시안 커널 SVM 분류기 적용을 통해 수행된다.
• 이 방법은 그래프 위상에 대한 사전 지식 없이도 작동하며, 오직 신호 변동만으로 기저 연결성을 학습한다.

실험 결과

연구 질문

• RQ1 비지도 깊은 아키텍처가 그래프 구조에 대한 사전 지식 없이도 신호 변동만으로 의미 있는 그래프 기하학을 학습할 수 있는가?
• RQ2 헤어 산란 변환이 알려지지 않은 그래프에서 신호의 불변 표현을 얼마나 효과적으로 생성하는가?
• RQ3 다항식 복잡도로 총 변동량 최소화를 통해 다중 척도 이웃을 어느 정도 정확하게 추정할 수 있는가?
• RQ4 비지도 헤어 산란 방법은 뒤섞인 이미지 및 구면 신호 데이터에서 지도 학습 기반 기준보다 얼마나 우수한 성능을 보이는가?
• RQ5 기하학적 사전 지식 없이도 비정규적이고 비균일한 샘플링 영역, 예를 들어 구면과 같은 곳에 일반화 가능한가?

주요 결과

• 뒤섞인 MNIST 이미지에서 헤어 산란 방법은 테스트 오차율 27.3%를 기록하여 Fastfood(36.9%)와 Random Kitchen Sinks(37.6%)를 크게 앞서며 성능을 뛰어넘었다.
• 진짜 이미지 기하학이 알려져 있을 경우 오차율은 21.3%로 감소하여, 기하학 정보가 충분히 제공될 경우의 잠재력을 입증했다.
• 기하학이 알려지지 않은 CIFAR-10 이미지에서, 차원 축소 후 방법은 21.3%의 오차율을 기록하여 기준 비지도 방법들을 능가했다.
• 무작위로 회전된 구면 상의 신호에서, 소규모 회전에 대해서는 오차율을 2.2%로 줄였고, 대규모 회전에 대해서는 47.7%로 줄여, 최근접 이웃 및 완전 연결 신경망을 능가했다.
• 추정된 다중 해상도 집합은 매우 연결되어 있었으며, 미세한 해상도에서 92%에서 97%까지 연결된 집합이 관찰되어 기하학 학습의 효과성을 확인했다.
• 기하학적 사전 지식 없이도 신호 변동 패tern만으로도 이미지 및 구면 신호 데이터셋에서 최신 기술 수준의 성능을 달성했다.