[논문 리뷰] Grassmannian Learning: Embedding Geometry Awareness in Shallow and Deep Learning

Jiayao Zhang, Guangxu Zhu외 2명|arXiv (Cornell University)|2018. 08. 07.

Spatial Cognition and Navigation인용 수 37

한 줄 요약

이 논문은 기하 구조를 부분공간으로부터 얕고 깊은 학습 모델에 통합적으로 통합할 수 있는 통합 프레임워크로 그라스만 학습을 소개한다. 부분공간의 자연스러운 표현인 그라스만 다양체를 활용함으로써, 기하학적 최적화 및 커널 방법을 통해 이미지셋 분류, 도메인 적응, 행렬 완성 등의 작업에서 기존 방법에 비해 강건성과 정확도 향상을 입증하였다.

ABSTRACT

Modern machine learning algorithms have been adopted in a range of signal-processing applications spanning computer vision, natural language processing, and artificial intelligence. Many relevant problems involve subspace-structured features, orthogonality constrained or low-rank constrained objective functions, or subspace distances. These mathematical characteristics are expressed naturally using the Grassmann manifold. Unfortunately, this fact is not yet explored in many traditional learning algorithms. In the last few years, there have been growing interests in studying Grassmann manifold to tackle new learning problems. Such attempts have been reassured by substantial performance improvements in both classic learning and learning using deep neural networks. We term the former as shallow and the latter deep Grassmannian learning. The aim of this paper is to introduce the emerging area of Grassmannian learning by surveying common mathematical problems and primary solution approaches, and overviewing various applications. We hope to inspire practitioners in different fields to adopt the powerful tool of Grassmannian learning in their research.

연구 동기 및 목표

• 기하학적 구조를 부분공간에서 유도해 기계학습에 통합할 수 있는 체계적인 접근 방식으로 그라스만 학습을 소개하는 것.
• 이론적 다양체 이론과 신호 처리 및 AI 분야의 실용적 응용 사이의 격차를 메우는 것.
• 얕은 학습 및 깊은 학습 패러다임에서 그라스만 다양체 상의 대표적인 방법과 응용을 조사하는 것.
• 실제 학습 작업에서 강건성과 성능 향상을 위해 실무자들이 그라스만 기법을 채택하도록 자극하는 것.
• 기하학적 인지 기반의 깊은 학습 및 강건한 기계학습 분야의 열린 과제와 향후 방향성 강조하기

제안 방법

• 고차원 공간 내의 부분공간을 모델링하기 위해 그라스만 다양체를 활용하며, 특히 저질서 또는 직교 제약 조건이 있는 데이터에 적합하다.
• 부분공간 제약 조건 하에서 저질서 행렬 완성 및 판별 분석 등의 문제를 해결하기 위해 그라스만 최적화를 적용한다.
• 지오데식 경로를 이용해 소스 도메인과 타겟 도메인 부분공간 간의 지오데식 경로를 활용해 지식을 이전하는 Geodesic Flow Kernel(GFK)과 같은 커널 방법을 적용한다.
• 기하학적 구조를 특징 표현에서 유지하기 위해 직접 그라스만 다양체 위에 구축된 딥 신경망 아키텍처를 도입한다.
• 비유클리드 다양체에서 기반으로 하는 기울기 기반 학습을 위해 지수 함수 및 로그 함수 매핑과 같은 리만 최적화 도구를 활용한다.
• 그라스만 구조에서의 효율적 계산을 가능하게 하기 위해余弦-사인 분해 및 대칭 양의 정부호(SPD) 행렬 도구를 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 부분공간 구조를 가진 데이터를 그라스만 다양체를 활용해 자연스럽게 모델링할 수 있으며, 이를 통해 학습 성능을 향상시킬 수 있는가?
• RQ2 얕은 그라스만 학습(GDA, SSC 등)과 깊은 그라스만 학습(지오데식 컨볼루션 네트워크, 다양체 기반 DNN 등) 간의 주요 차이점과 상호보완적 특성은 무엇인가?
• RQ3 그라스만 학습은 소규모 변형 및 대비 공격에 대해 어떻게 강건성을 향상시키는가?
• RQ4 그라스만 다양체의 기하학적 사전 지식을 어떻게 깊은 신경망에 효과적으로 통합하여 일반화 성능을 향상시킬 수 있는가?
• RQ5 실제 응용에서 그라스만 다양체 상에서 학습하기 위한 가장 효과적인 최적화 및 커널 방법은 무엇인가?

주요 결과

• 그라스만 판별 분석(GDA)은 전통적 방법에 비해 얼굴 표정 분류 작업에서 부분공간 불변성 모델링 성능을 향상시킨다.
• 지오데식 플로우 커널(GFK)은 그라스만 다양체 상에서 소스 도메인과 타겟 도메인 부분공간 간의 지오데식 경로를 활용해 효과적인 도메인 적응을 가능하게 한다.
• 그라스만 최적화를 통한 저질서 행렬 완성은 넷플릭스 챌린지와 같은 희소 데이터 환경에서 추천 정확도를 향상시킨다.
• 그라스만 기반 딥 러닝 모델은 부분공간 표현의 본질적 안정성 덕분에 소규모 변형에 대해 향상된 강건성을 보인다.
• ManOpt 및 pyManOpt과 같은 리만 최적화 도구의 통합은 그라스만 학습 알고리즘의 실용적 구현 및 테스트를 가능하게 한다.
• 그라스만 학습은 기하학적 딥 러닝의 기초가 되며, 3D 비전, 그래프 학습 및 지능형 MIMO 시스템 분야에서 점차 확장 가능한 잠재력을 지닌다.