[논문 리뷰] Deep Sets

Manzil Zaheer, Satwik Kottur외 4명|arXiv (Cornell University)|2017. 03. 10.

Anomaly Detection Techniques and Applications인용 수 76

한 줄 요약

Deep Sets는 순열 불변 집합 입력을 처리하기 위한 원칙적 아키텍처를 도입하고, 보편적 형태 f(X)=ρ(Σφ(x))를 증명하며 신경망의 순열-등가적 층을 도출하여 통계에서 포인트 클라우드 분류 및 집합 확장에 이르는 광범위한 응용을 제시한다.

ABSTRACT

We study the problem of designing models for machine learning tasks defined on \emph{sets}. In contrast to traditional approach of operating on fixed dimensional vectors, we consider objective functions defined on sets that are invariant to permutations. Such problems are widespread, ranging from estimation of population statistics \cite{poczos13aistats}, to anomaly detection in piezometer data of embankment dams \cite{Jung15Exploration}, to cosmology \cite{Ntampaka16Dynamical,Ravanbakhsh16ICML1}. Our main theorem characterizes the permutation invariant functions and provides a family of functions to which any permutation invariant objective function must belong. This family of functions has a special structure which enables us to design a deep network architecture that can operate on sets and which can be deployed on a variety of scenarios including both unsupervised and supervised learning tasks. We also derive the necessary and sufficient conditions for permutation equivariance in deep models. We demonstrate the applicability of our method on population statistic estimation, point cloud classification, set expansion, and outlier detection.

연구 동기 및 목표

• 입력으로 고정 크기 벡터가 아닌 집합이며 원소 순서에 대한 불변성이 필요한 학습 과제를 동기부여한다.
• 순열 불변 함수의 구조를 특징지우고 보편적 형태를 식별한다.
• 다varying sizes sets를 다루고 메타 정보로 조건부를 지원하는 DeepSets 아키텍처를 개발한다.
• 신경망 층에서의 순열 등가성에 필요한 및 충분한 조건을 도출한다.
• 다양한 감독학습 및 비감독 학습 과제에 걸쳐 실증적 결과로 접근 방식을 시연한다.

제안 방법

• 집합 함수가 각 원소에 대한 φ 변환 뒤 합(sum)으로 처리되고 ρ 변환이 적용되는 구조로 구성된다는 것을 증명한다: f(X)=ρ(Σx∈Xφ(x)).
• φ(x|z) 및 ρ를 통해 보조 정보로 조건부를 허용하도록 아키텍처를 확장한다.
• 레이어가 순열-등가적이 되려면 가중치 행렬 Θ가 형태 λI+γ(11^T)를 가져야 한다는 조건을 도출한다.
• 집합 풀링(합계 또는 최대)을 사용해 서로 다른 크기의 집합을 다루도록 순열-등가적 층을 차곡차곡 쌓아 DeepSets를 개발한다.
• 다양한 과제 처리에 맞춰 감독, 준감독 및 조건화 변형을 시연한다.
• 인구 통계 추정, 포인트 클라우드 분류, 집합 확장, 이상 탐지 등에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 집합에 대한 순열 불변 함수의 보편적 구조는 무엇인가?
• RQ2 순열 불변성을 존중하고 가변 집합 크기를 처리하는 신경망 아키텍처를 구축할 수 있는가?
• RQ3 신경망 층에서의 순열 등가성에 필요한 및 충분한 조건은 무엇인가?
• RQ4 추가 정보에 대한 조건부를 집합 기반 모델에 어떻게 통합할 수 있는가?
• RQ5 DeepSets는 통계 추정, 포인트 클라우드 분류, 집합 확장, 이상 탐지 등 과제에서 어떻게 수행하는가?

주요 결과

• 순열-불변 집합 함수는 X가 가산 가능한 경우 f(X)=ρ(Σφ(x))로 분해될 수 있으며, 비가산 X에 대한 확장은 추정된다.
• 신경망 층은 순열 등가적이려면 가중치 행렬이 Θ=λI+γ(11^T) 형태를 가져야 한다.
• DeepSets는 인구 통계 추정, 포인트 클라우드 분류, 집합 확장, 이상 탐지 등 다양한 과제에서 경쟁력 있는 혹은 우수한 성능을 달성한다.
• 프레임워크는 메타정보에 대한 조건부를 수용하여 여러 데이터 소스의 융합을 유연하게 가능하게 한다.
• 실험적으로, DeepSets은 작업별 특수 아키텍처 없이도 강한 일반화 및 적용성을 보인다.