[논문 리뷰] Benchmarking Invertible Architectures on Inverse Problems

Jakob Kruse, Lynton Ardizzone외 2명|arXiv (Cornell University)|2021. 01. 26.

Model Reduction and Neural Networks참고 문헌 14인용 수 25

한 줄 요약

요약: 이 논문은 두 개의 저차원 역문제에서 열 개의 역결합 가능(neural inverse) 아키텍처와 관련 아키텍처를 비교하고, 결합층 모델(INN, cINN)과 단순 오토인코더가 최상급의 성능을 보이며, MDN도 강력하지만 일부 아키텍처는 성능이 떨어진다.

ABSTRACT

Recent work demonstrated that flow-based invertible neural networks are promising tools for solving ambiguous inverse problems. Following up on this, we investigate how ten invertible architectures and related models fare on two intuitive, low-dimensional benchmark problems, obtaining the best results with coupling layers and simple autoencoders. We hope that our initial efforts inspire other researchers to evaluate their invertible architectures in the same setting and put forth additional benchmarks, so our evaluation may eventually grow into an official community challenge.

연구 동기 및 목표

• 역문제에서 역결합 아키텍처의 체계적 평가를 동기부여한다.
• (invertible)가 어려운 모델과 소프트 인버트 가능한 모델이 p(x|y)의 재구성에 어떤 영향을 주는지 평가한다.
• 벤치마크 문제에서 정확한 포스터리어 추정치를 제공하는 아키텍처와 손실을 식별한다.

제안 방법

• INN, cINN, IAF, MAF, iResNet, InvAuto, Autoencoder, cVAE, MDN 등 열 가지 아키텍처를 두 가지 역문제에서 평가한다.
• 두 가지 목표 지표로 포스터리어 불일치(MMD)와 순방향 재시뮬레이션 오차를 사용한다.
• 다양한 손실 구성(L2, MMD, ML 우도)과 순방향 프로세스에 대한 감독 여부를 포함하여 학습한다.
• 공정한 평가를 위한 거부 샘플링으로 순수 포스터리어를 실제값으로 제공한다.
• 비교를 위한 참 포스터리어 샘플링을 포함한다.
• 추론 시간과 파라미터 수를 보고하여 효율성을 비교한다.

실험 결과

연구 질문

• RQ1 소프트 인버스 가능성만으로 역문제를 해결할 수 있는가?
• RQ2 하드 인버스 가능성에 대한 아키텍처 제약이 성능에 해를 끼치는가?
• RQ3 가장 정확한 포스터리어 추정치를 얻기 위한 아키텍처와 손실 함수는 무엇인가?
• RQ4 다른 모델들은 추론 속도와 확장성 측면에서 어떻게 비교되는가?

주요 결과

• 결합층 기반 모델(INN, cINN)이 지표 전반에서 최상의 평균 성능을 달성한다.
• MDN은 포스터리어 불일치 및 재시뮬레이션 지표 모두에서 매우 좋은 성능을 보이며 p(x|y)에 대한 직접 모델링이 강하다는 것을 보여준다.
• Invertible ResNet은 이 벤치마크에서 모드 붕괴를 보여 주며, 이 벤치마크의 한계를 시사한다.
• IAF와 MAF는 디코더 및 일부 설정에서 이 작업들에서 포스터리어를 견고하게 포착하는 데 실패한다.
• 일부 모델은 더 높은 차원으로 확장하기 위해 완전한 공분산 모델링(MDN처럼) 또는 신중한 학습이 필요하다.
• 오토인코더 역시 경쟁력 있게 작동하며, 소프트 인버터블 접근법을 가능성 있는 기준으로 지지한다.