[논문 리뷰] Dynamic-Net: Tuning the Objective Without Re-training.

Alon Shoshan, Roey Mechrez외 1명|arXiv (Cornell University)|2018. 11. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 2

한 줄 요약

이 논문은 추론 중에 학습된 가중치를 동적으로 조합함으로써 실시간으로 사전 훈련된 CNN의 목적을 수정할 수 있도록 해주는 Dynamic-Net을 소개한다. 재훈련 없이도 사용자가 실시간으로 네트워크 동작을 상호작용적으로 조정할 수 있어 적응성은 향상되면서도 모델 성능 유지는 유지된다.

ABSTRACT

One of the key ingredients for successful optimization of modern CNNs is identifying a suitable objective. To date, the objective is fixed a-priori at training time, and any variation to it requires re-training a new network. In this paper we present a first attempt at alleviating the need for re-training. Rather than fixing the network at training time, we train a that can be modified at inference time. Our approach considers an as the space of all linear combinations of two objectives, and the Dynamic-Net is emulating the traversing of this objective-space at test-time, without any further training. We show that this upgrades pre-trained networks by providing an out-of-learning extension, while maintaining the performance quality. The solution we propose is fast and allows a user to interactively modify the network, in real-time, in order to obtain the result he/she desires. We show the benefits of such an approach via several different applications.

연구 동기 및 목표

• 사전 훈련된 CNN의 고정된 목표 기능의 한계를 해결하기 위해, 목표 변경이 필요할 경우 재훈련이 요구되는 문제를 해결한다.
• 훈련 후에도 재훈련이나 미세조정 없이 런타임에서 네트워크 동작을 적응시킬 수 있도록 한다.
• 사용자가 최적화 목표를 수정함으로써 추론 중에 모델 동작에 대한 상호작용적 제어를 제공한다.
• 사전 훈련된 모델의 功能을 확장하면서도 높은 성능 수준을 유지한다.

제안 방법

• 목표 공간을 두 가지 사전 정의된 손실 함수의 선형 조합의 집합으로 설정한다.
• 추론 시점에 동적으로 두 목표를 가중치 조정할 수 있는 경량의 학습 가능한 스칼라 파rameter를 도입한다.
• 네트워크는 고정된 목표로 한 번만 훈련되지만, 추론 시 스칼라 가중치를 조정하여 목표 공간 내 다양한 지점 탐색이 가능하다.
• 동적 가중치 조정을 통해 추가 훈련이나 모델 재초기화 없이 실시간으로 동작 조정이 가능하다.
• 사전 훈련된 네트워크에 적용되어 사용자 선호도에 기반한 모델 출력의 상호작용적 조정을 가능하게 한다.
• 계산적으로 효율적이며 추론 단계에서만 작동하여 추론 속도를 유지한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN이 재훈련 없이 추론 시점에 동적으로 재구성되어 다양한 목표를 최적화할 수 있는가?
• RQ2 동적 목표 가중치 조정이 다양한 추론 시점 요구 조건에 걸쳐 모델의 적응성 향상에 얼마나 효과적인가?
• RQ3 사전 훈련 후 목표를 수정할 경우 제안된 방법이 모델 성능을 유지하는가, 아니면 저하되는가?
• RQ4 사용자가 실시간으로 네트워크 동작을 상호작용적으로 조정하여 원하는 출력을 얻을 수 있는가?

주요 결과

• Dynamic-Net은 재훈련 없이 추론 중에 목표를 수정함으로써 사전 훈련된 CNN의 실시간 상호작용적 조정을 가능하게 한다.
• 다양한 목표 조합에서 원래 사전 훈련된 모델의 성능 수준을 유지한다.
• 기존 모델에 실용적인 즉시 적용 가능한 확장 기능을 제공하여 사용자 정의 목표에 대한 적응성을 향상시킨다.
• 동적 목표 조정은 계산적으로 효율적이며 실시간으로 작동하여 상호작용형 응용에 적합하다.