[논문 리뷰] Set aggregation network for structured data processing

Łukasz Maziarka, Marek Śmieja외 4명|arXiv (Cornell University)|2018. 10. 03.

Remote-Sensing Image Classification인용 수 1

한 줄 요약

이 논문은 구조화된 데이터를 위한 새로운 글로벌 풀링 레이어인 세트 어그리게이션 네트워크(Set Aggregation Network, SAN)를 제안한다. 이는 입력의 전체 정보를 유지하면서도 임의의 크기의 벡터로 특징 집합을 임베딩하는 데 목적이 있다. 기존의 표준 풀링 방식과 달리, SAN은 학습 가능한 어그리게이션 메커니즘을 통해 의미 있는 크기 조절이 가능한 표현을 학습함으로써 분류 정확도를 향상시키고 과적합을 줄이며 정규화 기능을 수행한다.

ABSTRACT

Global pooling, such as max- or sum-pooling, is one of the key ingredients in deep neural networks used for processing images, texts, graphs and other types of structured data. Based on the recent DeepSets architecture proposed by Zaheer et al. (NIPS 2017), we introduce a Set Aggregation Network (SAN) as an alternative global pooling layer. In contrast to typical pooling operators, SAN allows to embed a given set of features to a vector representation of arbitrary size. We show that by adjusting the size of embedding, SAN is capable of preserving the whole information from the input. In experiments, we demonstrate that replacing global pooling layer by SAN leads to the improvement of classification accuracy. Moreover, it is less prone to overfitting and can be used as a regularizer.

연구 동기 및 목표

• 딥 네ural 네트워크에서 최댓값 풀링이나 합계 풀링과 같은 고정 크기의 글로벌 풀링 레이어의 한계를 해결하기 위해.
• 입력 특징 집합으로부터 임의의 크기의 벡터 표현을 학습할 수 있도록 하기 위해.
• 유연한 임베딩 차원을 허용함으로써 입력 집합의 전체 정보를 유지하기 위해.
• 학습 가능한 구조적 어그리게이션 메커니즘을 통해 과적합을 줄이고 모델 일반화 성능을 향상시키기 위해.
• 구조화된 데이터 처리에서 표준 글로벌 풀링 레이어의 정규화 대안을 제공하기 위해.

제안 방법

• SAN은 전통적인 글로벌 풀링을 학습 가능한 어그리게이션 메커니즘으로 대체하여 입력 특징 집합을 구성 가능한 크기의 벡터로 매핑한다.
• 네트워크는 파라미터화된 함수를 사용하여 특징을 어그리게이션하며, 이로써 출력 차원을 입력 집합 크기와 독립적으로 조정할 수 있다.
• DeepSets에 영감을 받았지만, 학습 가능한 파라미터를 통해 크기 무관성과 정보 유지가 가능한 임베딩을 가능하게 하여 이를 확장한다.
• 어그리게이션 과정은 미분 가능하므로 표준 백프로파게이션을 사용한 엔드 투 엔드 훈련이 가능하다.
• SAN은 순열 불변성을 유지하여 입력 특징의 순서에 관계없이 일관된 출력을 보장한다.
• 고정 및 학습 가능한 임베딩 차원을 모두 지원하여 표현 능력에 대한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 집합의 전체 정보를 유지하면서도 임의의 출력 차원 크기를 허용하는 글로벌 풀링 레이어를 설계할 수 있는가?
• RQ2 학습 가능한 어그리게이션 메커니즘은 표준 풀링 연산에 비해 분류 정확도에서 어떻게 비교되는가?
• RQ3 세트 어그리게이션 네트워크는 기존의 글로벌 풀링 레이어에 비해 과적합을 어느 정도 줄일 수 있는가?
• RQ4 제안된 네트워크는 구조화된 데이터를 위한 딥 러닝 모델에서 효과적인 정규화 기능을 수행할 수 있는가?
• RQ5 임베딩 크기를 조절할 수 있는 능력이 구조화된 데이터 작업에서 모델 성능 향상에 기여하는가?

주요 결과

• 표준 글로벌 풀링 레이어를 SAN으로 대체하면 벤치마크 구조화된 데이터 작업에서 분류 정확도가 향상된다.
• SAN은 과적합에 덜 취약하여 제한된 훈련 데이터에서 더 우수한 일반화 성능을 보인다.
• 적절한 크기의 임베딩을 학습함으로써 입력 집합의 전체 정보를 유지할 수 있다.
• SAN은 추가적인 아키텍처 구성 요소 없이도 과적합을 줄이는 정규화 기능을 수행한다.
• 유연하고 학습 가능한 표현 학습을 가능하게 하면서도 순열 불변성을 유지한다.