[논문 리뷰] Deeply-Fused Nets

Jingdong Wang, Zhen Wei외 2명|arXiv (Cornell University)|2016. 05. 25.

Advanced Neural Network Applications참고 문헌 32인용 수 63

한 줄 요약

이 논문은 다층 기반 네트워크—특히 깊이 있는 네트워크와 얕은 네트워크—의 중간 표현을 여러 층에서 융합하는 새로운 딥러닝 아키텍처인 딥리프루티드 넷(Deeply-Fused Nets)을 제안한다. 깊이 있는 융합을 통해 특징 학습을 향상시키고, 정보 흐름을 개선하며, 효과적인 네트워크 깊이를 감소시켜 ResNet 및 하이웨이 네트워크를 능가하는 성능을 달성하며, 최신 기술 수준의 모델들과 경쟁 가능한 결과를 얻는다.

ABSTRACT

In this paper, we present a novel deep learning approach, deeply-fused nets. The central idea of our approach is deep fusion, i.e., combine the intermediate representations of base networks, where the fused output serves as the input of the remaining part of each base network, and perform such combinations deeply over several intermediate representations. The resulting deeply fused net enjoys several benefits. First, it is able to learn multi-scale representations as it enjoys the benefits of more base networks, which could form the same fused network, other than the initial group of base networks. Second, in our suggested fused net formed by one deep and one shallow base networks, the flows of the information from the earlier intermediate layer of the deep base network to the output and from the input to the later intermediate layer of the deep base network are both improved. Last, the deep and shallow base networks are jointly learnt and can benefit from each other. More interestingly, the essential depth of a fused net composed from a deep base network and a shallow base network is reduced because the fused net could be composed from a less deep base network, and thus training the fused net is less difficult than training the initial deep base network. Empirical results demonstrate that our approach achieves superior performance over two closely-related methods, ResNet and Highway, and competitive performance compared to the state-of-the-arts.

연구 동기 및 목표

• 딥 네트워크에서 효과적인 다중 척도 표현을 학습하는 데 도전하는 데 목적을 두며.
• 얕은 네트워크와 깊은 기반 네트워크의 특징을 여러 중간 층에서 융합함으로써 깊이 있는 아키텍처의 정보 흐름을 향상시키는 데 목적을 두며.
• 얕은 네트워크와 깊은 기반 네트워크의 상호 보완적 특성을 활용하여 최종 네트워크의 효과적 깊이를 감소시키는 데 목적을 두며.
• 기반 네트워크들을 공동으로 훈련시어 최적화 과정에서 상호 보완적 이점을 얻는 데 목적을 두며.
• 기존의 ResNet 및 하이웨이 네트워크와 같은 방법들보다 더 나은 성능을 달성하면서도 훈련 난이도를 낮추는 데 목적을 두며.

제안 방법

• 이 방법은 깊이 있는 기반 네트워크와 얕은 기반 네트워크의 중간 특징 맵을 여러 층에서 결합함으로써 깊이 있는 융합을 수행한다.
• 융합된 표현은 각 기반 네트워크의 나머지 부분에 입력으로 제공되어 융합 아키텍처의 엔드 투 엔드 학습을 가능하게 한다.
• 융합은 여러 중간 층에서 이루어지며, 이로써 계층적이고 다중 척도의 표현을 학습할 수 있다.
• 깊이 있는 네트워크와 얕은 네트워크는 공동으로 훈련되어 공유된 표현을 통해 상호 보완적 이점을 얻는다.
• 이 아키텍처는 최종 네트워크의 효과적 깊이를 감소시켜 기존의 독립적인 깊이 있는 기반 네트워크를 훈련시키는 것보다 훨씬 효율적인 훈련을 가능하게 한다.
• 이 방법은 일반화 가능하도록 설계되어, 동일한 융합된 네트워크를 향후 추가 융합을 위해 새로운 기반 네트워크로 재사용할 수 있다.

실험 결과

연구 질문

• RQ1 얕은 기반 네트워크와 깊은 기반 네트워크의 중간 표현을 융합함으로써 특징 학습과 모델 성능을 향상시킬 수 있는가?
• RQ2 깊이 있는 융합은 깊이 있는 신경망에서 정보 흐름에 어떤 영향을 미치는가?
• RQ3 얕은 네트워크와 깊은 네트워크의 공동 훈련이 더 나은 일반화 및 훈련 난이도 감소에 기여하는가?
• RQ4 원래의 깊이 있는 기반 네트워크보다 깊이가 더 적은 융합 네트워크를 구성할 수 있는가, 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 이러한 방법은 ResNet 및 하이웨이 네트워크와 같은 기존 아키텍처와 정확도 및 훈련 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 딥리프루티드 넷은 벤치마크 작업에서 ResNet 및 하이웨이 네트워크보다 뛰어난 성능을 달성한다.
• 이 방법은 깊이 있는 기반 네트워크의 초기 층에서 최종 출력으로의 정보 흐름을 향상시키며, 입력에서 깊이 있는 네트워크의 후속 층으로의 정보 흐름도 개선한다.
• 깊이 있는 네트워크와 얕은 네트워크의 공동 훈련은 상호 보완적 이점을 가져와 전체 특징 표현을 향상시킨다.
• 융합된 네트워크의 효과적 깊이는 감소하여 원래의 깊이 있는 기반 네트워크를 훈련시키는 것보다 훨씬 쉽게 훈련할 수 있다.
• 여러 융합 지점에서 여러 기반 네트워크를 결합함으로써 다중 척도 표현 학습이 가능해진다.
• 실험 결과는 최신 기술 수준의 모델들과 경쟁 가능한 성능을 보이며, 깊이 있는 융합의 효과성을 입증한다.