[논문 리뷰] Probabilistic Spatial Transformer Networks

Pola Schwöbel, Frederik Warburg외 3명|arXiv (Cornell University)|2020. 04. 07.

Energy Efficient Wireless Sensor Networks참고 문헌 37인용 수 4

한 줄 요약

이 논문은 이미지 변환을 단일 결정론적 변환 대신 분포로 모델링하는 확률적 확장인 P-STN을 제안한다. 몬테카를로 추론를 통해 샘플된 변환에 대해 근사적으로 적분함으로써 P-STN은 국소화에 대한 강건성을 향상시키고, 학습된 데이터 증강 기능을 수행하며, 시각 및 시계열 벤치마크에서 결정론적 STN보다 높은 분류 정확도와 더 나은 모델 校정도를 달성한다.

ABSTRACT

Spatial Transformer Networks (STNs) estimate image transformations that can improve downstream tasks by `zooming in' on relevant regions in an image. However, STNs are hard to train and sensitive to mis-predictions of transformations. To circumvent these limitations, we propose a probabilistic extension that estimates a stochastic transformation rather than a deterministic one. Marginalizing transformations allows us to consider each image at multiple poses, which makes the localization task easier and the training more robust. As an additional benefit, the stochastic transformations act as a localized, learned data augmentation that improves the downstream tasks. We show across standard imaging benchmarks and on a challenging real-world dataset that these two properties lead to improved classification performance, robustness and model calibration. We further demonstrate that the approach generalizes to non-visual domains by improving model performance on time-series data.

연구 동기 및 목표

• 결정론적 공간 변환 네트워크(STN)의 취약성을 해결하기 위해, 변환 예측이 정확하지 않을 경우 치명적인 실패를 겪는 문제를 해결한다.
• 확률적 프레임워크를 통해 이미지 변환의 불확실성을 모델링하여 학습 안정성과 국소화 성능을 향상시킨다.
• 스토케스틱 변환을 암묵적이고 이미지별 데이터 증강으로 활용하여 최종 분류 성능을 향상시킨다.
• 이 접근법이 시각 영역을 넘어 시계열 데이터로까지 일반화됨을 보여주어 더 넓은 적용 가능성을 입증한다.

제안 방법

• 이미지 변환에 대한 계층적 베이지안 모델을 제안하며, 결정론적 변환 추정을 변분 사후 분포로 대체한다.
• 암시적 변분 추론을 사용하여 레이블 정보만을 이용해 국소화 네트워크와 최종 분류기 모두를 동시에 훈련시킨다.
• 예측 분포의 비가역 적분을 몬테카를로 샘플링을 통해 근사한다: p(y|I) ≈ (1/S) Σ p(y|T_θ^s(I)) S개의 샘플된 변환에 대해.
• 입력 이미지에 스토케스틱 변환을 적용하고, 다수의 변환된 뷰를 분류기에 공급하며, 샘플 간 예측을 집계한다.
• 변환에 대한 정규분포의 파라미터를 출력하는 국소화 네트워크를 갖는 미분 가능한 공간 변환 모듈을 사용한다.
• 백프로파게이션을 사용하여 엔드 투 엔드로 훈련하며, 분류기 손실은 변환된 샘플의 앙상블에 대해 계산된다.

실험 결과

연구 질문

• RQ1 변환 불확실성을 모델링하면 훈련 및 추론 중 공간 변환 네트워크의 강건성이 향상되는가?
• RQ2 스토케스틱 변환에 대해 적분을 적용하면 결정론적 STN보다 더 나은 국소화 성능을 달성하는가?
• RQ3 스토케스틱 변환 과정이 최종 분류 작업에 대해 효과적인 학습된 데이터 증강으로 작용하는 정도는 어느 정도인가?
• RQ4 확률적 STN 프레임워크는 시각 외 영역인 시계열 데이터로까지 일반화 가능한가?
• RQ5 기본 신경망과 결정론적 STN에 비해 벤치마크 데이터셋에서 P-STN의 校정도와 정확도는 어떻게 비교되는가?

주요 결과

• P-STN는 작은 분류기 조건에서 회전된 MNIST에서 표준 신경망과 결정론적 STN보다 더 높은 분류 정확도를 달성한다. 이는 효과적인 국소화와 데이터 증강 덕분이다.
• P-STN 모델은 결정론적 STN가 자주 겪는 문제인 정체 변환 학습을 피하며, 더 큰 분류기 조건에서도 회전된 이미지를 성공적으로 국소화한다.
• P-STN에서 예측된 변환의 분산은 STN보다 유의미하게 더 높아, 더 활발하고 다양한 국소화 행동을 보임을 시사한다.
• P-STN는 모델 校정도를 향상시켜 결정론적 모델보다 더 신뢰할 수 있는 예측 불확실성 추정을 제공한다.
• 이 방법은 시계열 데이터로까지 일반화되며, 모델 성능 향상을 보이며, 시각 작업 외 응용 가능성도 입증한다.
• P-STN의 손실 곡면은 STN보다 더 매끄럽고 국소 최솟값이 적어, 학습 안정성이 향상됨을 나타낸다.