[논문 리뷰] Deep Set Prediction Networks

Yan Zhang, Jonathon Hare외 1명|arXiv (Cornell University)|2019. 06. 15.

Medical Image Segmentation Techniques참고 문헌 26인용 수 29

한 줄 요약

이 논문은 특징 벡터에서 크기가 변하는 집합을 순열 불변성을 유지하면서 예측할 수 있는, 백프로파게이션 가능한 미분 가능한 모델인 Deep Set Prediction Networks를 제안한다. 반복적으로 예측된 집합을 학습 가능한 집합 인코더를 통해 개선하고 표현 손실를 최소화함으로써, 기존의 MLP에서 기인하는 이산성 문제를 피하고 CLEVR에서 객체 검출 및 속성 예측과 같은 집합 예측 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

Current approaches for predicting sets from feature vectors ignore the unordered nature of sets and suffer from discontinuity issues as a result. We propose a general model for predicting sets that properly respects the structure of sets and avoids this problem. With a single feature vector as input, we show that our model is able to auto-encode point sets, predict the set of bounding boxes of objects in an image, and predict the set of attributes of these objects.

연구 동기 및 목표

• 기본 신경망에서 집합 원소의 임의의 순서로 인해 발생하는 집합 예측의 이산성 문제를 해결한다.
• 예측 과정에서 집합의 순열 불변성 구조를 적절히 고려하는 딥 러닝 모델을 개발한다.
• 세트 디코더를 통해 백프로파게이션을 가능하게 하여 벡터에서 집합으로의 예측 작업을 엔드 투 엔드로 훈련할 수 있도록 한다.
• 점군 자동부호화 및 속성 예측이 포함된 다양한 집합 예측 작업에 대해 효과성을 입증한다.
• 앵커 기반 또는 후처리 기법(예: 비최대 억제)에 의존하지 않는 일반적인 집합 예측 프레임워크를 제공한다.

제안 방법

• 초기 집합 예측에서 시작하여 학습 가능한 집합 인코더를 사용해 반복적으로 개선하는, 미분 가능한 반복적 개선 메커니즘을 제안한다.
• 학습 가능한 집합 인코더를 사용해 예측된 집합을 잠재 표현으로 매핑하고, 이 표현을 목표 특징 벡터 $ \mathbf{z} $ 와 표현 손실를 통해 비교한다.
• 백프로파게이션을 사용해 인코딩된 예측 집합과 목표 특징 벡터 $ \mathbf{z} $ 사이의 표현 손실 $ L_{\text{repr}} $ 를 최소화한다.
• 훈련 중에 예측 집합과 진짜 집합 간의 요소 매칭을 보장하기 위해 허그리안 손실 $ L_{\text{hun}} $ 을 적용한다.
• 예측 집합 $ \mathbf{Y}^{(0)} $ 를 학습 가능한 임bedding 또는 MLP 헤드로 초기화하고, 총 $ T $ 번의 반복을 통해 개선한다.
• 각 요소에 대해 신경망을 독립적으로 적용하고, 순열 불변 연산(예: 합산)을 통해 집계함으로써 순열 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 집합의 순열 불변성을 유지하면서도 이산성 문제를 피할 수 있는 방식으로 집합을 예측할 수 있는가?
• RQ2 학습 가능한 집합 인코더를 통한 반복적 개선 방식이 직접적인 MLP 기반 출력 예측 방식보다 집합 예측 성능을 어떻게 향상시키는가?
• RQ3 이 모델은 집합의 크기와 원소의 차원 수에 대해 얼마나 잘 일반화되는가?
• RQ4 앵커 기반 또는 후처리 기법 없이도 CLEVR와 같은 복잡한 집합 예측 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 훈련 시 단수 단계로만 학습된 경우에도, 더 긴 추론 시간 최적화 과정이 반복적 개선 과정에 유익한가?

주요 결과

• 30회의 추론 반복을 사용할 경우 CLEVR 속성 예측 작업에서 평균 정밀도(AP∞) 85.2%를 달성하여 MLP 기반 베이스라인(3.6%)과 RNN 기반 베이스라인(4.0%)을 크게 능가한다.
• 20회의 추론 반복을 사용할 경우 CLEVR 경계상자 예측 작업에서 84.0% AP∞를 기록하여 비최대 억제 기법 없이도 강력한 일반화 성능을 보였다.
• 추론 시간 반복 횟수가 증가할수록 성능이 지속적으로 향상됨을 확인하여, 초기 잠재 표현 $ \mathbf{z} $ 가 효과적이며 추가로 개선 가능함을 시사한다.
• 20회 이상의 반복(예: 30단계)을 사용할 경우 성능이 약간 저하됨을 관찰하여, 훈련 시 10단계만 사용한 점을 고려할 때 과도한 최적화 가능성(overshooting)이 존재함을 시사하며, 더 나은 초기화 또는 정지 기준이 필요함을 나타낸다.
• 10개에서 342개의 원소까지 다양한 집합 크기와 2차원에서 18차원까지 다양한 차원의 원소에 대해 잘 일반화됨을 보이며, 다양한 집합 예측 작업에 대한 강건성을 입증했다.
• 표현 손실 $ L_{\text{repr}} $ 는 개선 과정을 이끄는 데 효과적이며, 추론 시간에 추가로 최소화할 경우 성능 향상이 이루어짐을 보여, 잠재 코드 $ \mathbf{z} $ 가 의미 있는 집합 구조를 잘 캡처하고 있음을 시사한다.