[논문 리뷰] Deep Energy: Using Energy Functions for Unsupervised Training of DNNs

Alona Golts, Daniel Z. Freedman외 1명|arXiv (Cornell University)|2018. 05. 31.

Advanced Neural Network Applications참고 문헌 66인용 수 6

한 줄 요약

이 논문은 외부로 정의된 에너지 함수를 활용하여 레이블이 없는 데이터를 사용해 딥 신경망을 훈련시키는 Deep Energy를 소개한다. 이는 이미지 분할 및 매트팅과 같은 작업을 위한 비지도 학습을 가능하게 하며, 에너지 최소화를 통해 CNN를 엔드 투 엔드로 훈련시키고, 각 이미지당 반복 최적화 없이도 빠른 피드포워드 추론 단계에서 고성능 결과를 도출한다.

ABSTRACT

The success of deep learning has been due in no small part to the availability of large annotated datasets. Thus, a major bottleneck in the current learning pipeline is the human annotation of data, which can be quite time consuming. For a given problem setting, we aim to circumvent this issue via the use of an externally specified energy function appropriate for that setting; we call this the Deep Energy approach. We show how to train a network on an entirely unlabelled dataset using such an energy function, and apply this general technique to learn CNNs for two specific tasks: seeded segmentation and image matting. Once the network parameters have been learned, we obtain a high-quality solution in a fast feed-forward style, without the need to repeatedly optimize the energy function for each image.

연구 동기 및 목표

• 딥 러닝에서 인간이 레이블을 붙인 데이터의 한계를 해결하기 위해, 지도 학습 없이 깊은 신경망을 훈련시키는 것을 목적으로 한다.
• 외부에서 지정한 에너지 함수를 사용해 레이블이 없는 데이터셋에서 네트워크 훈련을 이끄는 일반적인 프레임워크를 개발하는 것.
• 특정 시각 작업, 예를 들어 시드 기반 분할 및 이미지 매트팅에 이 방법을 적용하는 것.
• 훈련 후 반복 최적화 없이도 고성능의 추론 결과를 도출하는 것.

제안 방법

• 이 방법은 레이블이 없는 입력에 대해 정의된 데이터에 의존하는 에너지 함수의 최소화로 네트워크 훈련을 수식화한다.
• 역전파를 에너지 함수를 통해 적용하여 네트워크 파라미터를 업데이트함으로써, 레이블 없이도 엔드 투 엔드 훈련이 가능하다.
• 에너지 함수는 분할 및 매트팅을 위한 태스크 특화 사전 지식, 예를 들어 부드러움 또는 일致성 제약 조건 등을 캡슐화한다.
• 네트워크는 데이터셋 전체에서 에너지 함수를 최소화하는 출력을 예측하도록 훈련된다.
• 훈련 후 추론은 단일 피드포워드 단계로 수행되어 각 이미지당 반복적인 에너지 최적화를 피한다.

실험 결과

연구 질문

• RQ1 외부에서 지정한 에너지 함수를 사용해 레이블이 없는 데이터에서 딥 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 이러한 방법이 이미지 매트팅 및 시드 기반 분할과 같은 복잡한 시각 작업에 얼마나 잘 일반화되는가?
• RQ3 훈련된 네트워크가 반복적 개선 없이 단일 피드포워드 단계에서 고성능 결과를 도출할 수 있는가?
• RQ4 Deep Energy 방법의 성능은 비지도 학습 과제에서 지도 학습 기반 방법과 비교해 어떻게 되는가?

주요 결과

• Deep Energy 방법은 레이블이 없는 데이터에서 오직 에너지 함수만을 사용해 CNN를 성공적으로 훈련시키며, 인간의 레이블링이 필요 없어진다.
• 이 방법은 시드 기반 분할 및 이미지 매트팅 과제에서 경쟁력 있는 성능을 달성했으며, 일부 경우에서 지도 학습 기반 기준을 충족하거나 초월한다.
• 훈련 후 추론 속도가 반복적인 에너지 최적화보다 빠르며, 단일 피드포워드 단계만으로도 가능하다.
• 훈련된 네트워크는 새로운 이미지에 대해 잘 일반화되어, 각 이미지 최적화 없이도 고성능 출력을 생성한다.