[논문 리뷰] On Learning Sets of Symmetric Elements

Haggai Maron, Or Litany외 2명|arXiv (Cornell University)|2020. 02. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 67인용 수 29

한 줄 요약

이 논문은 대칭 데이터의 순서 없는 집합에서 학습하는 데 특화된 새로운 아키텍처인 대칭 원소를 위한 딥 세트(DSS)를 소개한다. 이는 이미지, 포인트 클라우드, 그래프와 같은 데이터에서 요소의 순열과 내재된 대칭성(예: 이미지에서의 이동)에 대해 등변성을 강제함으로써 작동한다. DSS 레이어는 기존의 접근 방식을 통합하고 일반화하며, 불변 및 등변 함수에 대한 보편적 근사성을 입증하고, 이미지, 그래프, 3D 재구성 작업 전반에서 시아네스 네트워크와 이전의 세트 학습 모델보다 경험적으로 뛰어난 성능을 보인다.

ABSTRACT

Learning from unordered sets is a fundamental learning setup, recently attracting increasing attention. Research in this area has focused on the case where elements of the set are represented by feature vectors, and far less emphasis has been given to the common case where set elements themselves adhere to their own symmetries. That case is relevant to numerous applications, from deblurring image bursts to multi-view 3D shape recognition and reconstruction. In this paper, we present a principled approach to learning sets of general symmetric elements. We first characterize the space of linear layers that are equivariant both to element reordering and to the inherent symmetries of elements, like translation in the case of images. We further show that networks that are composed of these layers, called Deep Sets for Symmetric Elements (DSS) layers, are universal approximators of both invariant and equivariant functions, and that these networks are strictly more expressive than Siamese networks. DSS layers are also straightforward to implement. Finally, we show that they improve over existing set-learning architectures in a series of experiments with images, graphs, and point-clouds.

연구 동기 및 목표

• 요소에 내재된 대칭성(예: 이미지에서의 이동, 그래프에서의 순열 등)을 가진 집합에서 학습하는 데 존재하는 격차를 메우기 위해.
• 세트 순서뿐만 아니라 개별 요소 내의 대칭성에도 등변성을 강제하는 원칙적인 프레임워크를 개발하기 위해.
• DSS 네트워크에 대한 보편적 근사 정리 증명을 통해, 시아네스 아키텍처를 초월하는 표현 능력을 확보하기 위해.
• 이미지, 그래프, 포인트 클라우드를 포함한 다양한 데이터 유형에서 기존의 세트 학습 모델에 비해 DSS가 일관되게 성능 향상을 보임을 입증하기 위해.

제안 방법

• 군 이론을 사용하여 세트 순서와 요소 대칭성에 등변적인 선형 레이어의 공간을 특성화함으로써, DeepSets를 일반화함.
• DSS 레이어를 각 요소에 독립적으로 적용되는 시아네스 처리와 모든 요소의 합을 처리하는 공유 집계 모듈의 조합으로 제안함.
• 일반 DSS 레이어를 $ L(x_i) = L_1(x_i) + L_2\left(\sum_{j \neq i} x_j\right) $ 로 수식화함. 여기서 $ L_1 $ 과 $ L_2 $ 는 컨볼루션 레이어임.
• 보편적 근사 정리 증명: 기본 요소 네트워크가 보편적이라면, DSS 네트워크는 불변 및 등변 함수를 보편적으로 근사함을 입증함.
• 표준 딥 러닝 연산을 사용하여 DSS 레이어를 효율적으로 구현함으로써, 기존 아키텍처에 즉시 통합할 수 있도록 함.
• DSS를 다중 시점 3D 재구성, 이미지 버스트 디블러링, 그래프 분류에 적용하여 이전의 집계 기반 기법을 대체하거나 향상시킴.

실험 결과

연구 질문

• RQ1 요소 재정렬과 요소 내부의 내재 대칭성에 대해 등변성을 가지는 딥 러닝 레이어를 어떻게 설계할 수 있는가?
• RQ2 기존 아키텍처인 시아네스 네트워크와 DeepSets를 대칭 요소에 대해 일반화하는 통합 프레임워크를 구성할 수 있는가?
• RQ3 DSS 네트워크의 표현 능력은 어떠한가? 그리고 이는 불변 및 등변 함수 학습에서 시아네스 네트워크를 초월하는가?
• RQ4 DSS 레이어는 이미지 디블러링이나 3D 형상 재구성과 같은 실세계의 대칭 데이터 집합 작업에서 성능 향상에 기여하는가?
• RQ5 합산 기반 집계를 통한 중간 단계의 정보 공유가 후처리 융합 대비 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 보편적 근사 정리에 의해 입증된 바와 같이, DSS 레이어는 불변 및 등변 함수에 대해 시아네스 네트워크보다 엄밀히 표현 능력이 뛰어나다.
• 다중 시점 3D 재구성 작업에서, DSS를 강화한 Sridhar+DSS 모델은 자동차에 대해 재구성 오차를 22.6% 감소시켰다(0.1645 → 0.1273), 항공기에는 26.0% 감소시켰다(0.1571 → 0.1163). 이는 뚜렷한 성능 향상을 보여줌.
• 의자 클래스에서는 성능이 약간 악화되었지만(0.1845 → 0.2345), 평균 오차는 0.1687에서 0.1593으로 감소함.
• DSS 프레임워크는 이전의 방법들을 일반화하고 통합하며, DeepSets, 시아네스 네트워크, 3D 재구성에서의 평균 제거 레이어를 포함함.
• 그래프와 포인트 클라우드에 대한 실험 결과는 일관된 향상을 확인하며, DSS가 다양한 데이터 모odalities에서 효과적임을 입증함.
• 등변 레이어의 이론적 특성화를 통해, 데이터 내 복잡한 대칭성 구조를 존중하는 체계적인 모델 설계가 가능해짐.