[논문 리뷰] Learning Representations of Sets through Optimized Permutations

Yan Zhang, Jonathon Hare외 1명|arXiv (Cornell University)|2018. 12. 10.

Multimodal Machine Learning Applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 전통적인 순열 불변 감소 방법(예: 합계 또는 최댓값)으로 인한 표현 블로킹을 피하기 위해, 집합을 순서 있는 시퀀스로 재정렬하는 데에 학습 가능한 표현 학습을 향상시키기 위한 미분 가능한 순열 최적화(PO) 모듈을 제안한다. 학습 가능한 상호 비용 함수에 기반한 경사 하강법을 통해 순열을 최적화함으로써, 숫자 정렬, 이미지 모자이크 재구성, 시각질문응답(VQA)과 같은 집합 표현 작업에서 최신 기술 성능을 달성한다. 명시적 및 암시적 지도 학습 모두에서 성능을 발휘한다.

ABSTRACT

Representations of sets are challenging to learn because operations on sets should be permutation-invariant. To this end, we propose a Permutation-Optimisation module that learns how to permute a set end-to-end. The permuted set can be further processed to learn a permutation-invariant representation of that set, avoiding a bottleneck in traditional set models. We demonstrate our model's ability to learn permutations and set representations with either explicit or implicit supervision on four datasets, on which we achieve state-of-the-art results: number sorting, image mosaics, classification from image mosaics, and visual question answering.

연구 동기 및 목표

• 합계나 최댓값과 같은 감소 연산으로 인한 표현 블로킹 없이, 집합의 순열 불변 표현을 학습하는 데에 도전한다.
• 사전에 알려진 순서에 대한 지식이 필요 없이, 미분 가능한 최적화를 통해 집합 원소의 최적 순서를 엔드 투 엔드로 학습한다.
• 분류 및 시각질문응답과 같은 후행 작업을 위해 모델이 암시적으로 유용한 순서를 발견할 수 있도록 한다.
• 학습 가능한, 미분 가능한 순열 과정을 통해 순서 없는 집합을 순서 있는 시퀀스로 변환함으로써, 집합 표현 학습을 향상시킨다.

제안 방법

• 모델은 신경망을 통해 원소 쌍을 비교함으로써, 집합 원소 간의 상대적 순서를 결정하는 학습 가능한 상호 순서 비용 함수를 사용한다.
• 전체 비용 함수는 주어진 순열의 품질을 측정하는 비용의 합으로 정의된다.
• 고정된 단계 수 동안 경사 하강법을 통해 순열을 최적화하며, 역전파를 전개하여 엔드 투 엔드 학습을 가능하게 한다.
• 비순환 행렬을 최적화함으로써 순열의 연속적 근사화를 달성하며, 각 단계에서 정규화하여 유효한 순열 행렬로 변환한다.
• 최종적으로 생성된 순서 있는 시퀀스는 순차적 모델(예: LSTM)에 입력되어 원래 집합의 순열 불변 표현을 학습한다.
• 전체 모듈는 미분 가능하므로, 순서 비용과 후행 작업 손실을 함께 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 신경망은 표현 학습을 향상시키기 위해 집합을 더 나은 순서로 재정렬할 수 있는가?
• RQ2 기존의 감소 기반 집합 모델에 비해, 미분 가능한 순열 최적화는 표현 능력과 정확도 측면에서 더 우수한가?
• RQ3 암시적 지도 학습에서, 분류나 시각질문응답과 같은 작업을 위해 사전 지도 없이도 모델이 유용한 순서를 암시적으로 발견할 수 있는가?
• RQ4 암시적 지도 학습 하에서, 원래 집합의 구조를 순서 없는 입력에서 재구성하는 데에 PO 모듈의 효과는 어떠한가?

주요 결과

• PO 모듈은 숫자 정렬 및 이미지 모자이크 재구성 작업에서 최신 기술 성능을 달성했으며, 명시적 지도 학습 하에서 MNIST 2×2 모자이크에서는 100% 정확도, CIFAR10 3×3 모자이크에서는 87.3% 정확도를 기록했다.
• 암시적 지도 학습 작업에서 PO-LA 버전은 CIFAR10 3×3 모자이크에서 66.0% 정확도, ImageNet 3×3 모자이크에서는 28.6% 정확도를 기록했으며, LinAssign 및 기타 기준 모델을 초월했다.
• 암시적 학습에서 PO 모듈은 재구성 오차를 크게 감소시켰으며, ImageNet 3×3에서는 평균 제곱오차가 0.41, CIFAR10 3×3에서는 0.28을 기록했고, LinAssign에 비해 더 높은 오차를 보였다.
• 시각화 결과는 PO 모델이 LinAssign보다 더 정확하고 일관성 있는 재구성을 학습하고 있음을 보여주며, 암시적 지도 학습 조건에서도 내부 표현 학습 능력이 뛰어나다는 것을 시사한다.
• 이 방법은 최신 기술 VQA 모델의 성능을 향상시켜, 복잡한 실제 응용 기반의 집합 기반 작업에서의 유용성을 입증했다.
• 모델는 MNIST, CIFAR10, ImageNet 등 다양한 데이터셋 간에 잘 일반화되며, 재구성 과제가 더 어려워지는 높은 타일 수 조건에서도 강건성을 보였다.