[논문 리뷰] Domain-Aware Dynamic Networks

Tianyuan Zhang, BoRui Wu외 3명|arXiv (Cornell University)|2019. 11. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 7

한 줄 요약

이 논문은 입력 도메인에 따라 추론 시 가중치를 동적으로 조정하는 도메인 인식 동적 네트워크(Domain-Aware Dynamic Networks, DDN)를 제안한다. 이는 FLOPs나 지연 시간을 늘리지 않고도 모델 용량을 높일 수 있도록 한다. 데이터 국지성—즉, 짧은 시간 동안 입력 데이터가 한 도메인 내에 머무르는 성질—을 활용하여, 각 도메인에 맞는 전문화된 저복잡도 모델로 다수의 전문가 가중치를 동적으로 조합한다. 이로 인해 정적 네트워크 대비 BDD100K에서 최대 2.6% 높은 AP50 성능을 달성한다.

ABSTRACT

Deep neural networks with more parameters and FLOPs have higher capacity and generalize better to diverse domains. But to be deployed on edge devices, the model's complexity has to be constrained due to limited compute resource. In this work, we propose a method to improve the model capacity without increasing inference-time complexity. Our method is based on an assumption of data locality: for an edge device, within a short period of time, the input data to the device are sampled from a single domain with relatively low diversity. Therefore, it is possible to utilize a specialized, low-complexity model to achieve good performance in that input domain. To leverage this, we propose Domain-aware Dynamic Network (DDN), which is a high-capacity dynamic network in which each layer contains multiple weights. During inference, based on the input domain, DDN dynamically combines those weights into one single weight that specializes in the given domain. This way, DDN can keep the inference-time complexity low but still maintain a high capacity. Experiments show that without increasing the parameters, FLOPs, and actual latency, DDN achieves up to 2.6\% higher AP50 than a static network on the BDD100K object-detection benchmark.

연구 동기 및 목표

• 엣지 배포에서 모델 용량과 계산 복잡도 사이의 상충 관계를 해결하기 위해.
• 입력 데이터가 짧은 시간 간격 동안 동일한 도메인에 머무르는 데이터 국지성을 활용하여 일반화 성능을 향상시키기 위해.
• 낮은 추론 시 복잡도를 유지하면서 다양한 도메인에서 높은 정확도를 달성하는 동적 네트워크를 설계하기 위해.
• 에지 디바이스에서 파라미터 수, FLOPs, 실제 지연 시간을 늘리지 않고도 고용량 모델 성능을 실현하기 위해.

제안 방법

• 각 레이어에 다수의 가중치 세트(전문가)를 포함하는 동적 네트워크 아키텍처를 제안한다.
• 입력 데이터에서 추출한 도메인 표현을 바탕으로 컨트롤러 네트워크를 통해 동적 융합 가중치를 계산한다.
• 입력 도메인을 조건으로 하여 전문가 가중치의 학습된 선형 조합을 통해 최종 레이어 가중치를 결정한다.
• 백본 네트워크를 통해 도메인 표현을 추출하고, 이를 컨트롤러에 입력하여 도메인별 융합 계수를 생성한다.
• 입력 도메인이 변경되지 않는 한 동일한 융합 가중치 구성을 여러 입력에 재사용하여 추론 비용을 유지한다.
• 정확한 예측 성능을 장려하면서도 계산 오버헤드를 낮추는 손실 함수를 사용해 네트워크를 종단 간(end-to-end)으로 훈련한다.

실험 결과

연구 질문

• RQ1 데이터 국지성을 활용하여 추론 시 복잡도를 늘리지 않고도 모델 용량을 향상시킬 수 있는가?
• RQ2 낮은 계산 비용을 유지하면서 동적 네트워크가 다양한 입력 도메인에 대해 가중치를 얼마나 효과적으로 적응시킬 수 있는가?
• RQ3 컨트롤러는 다양한 도메인 분할 전략에 대해 일반화되는가, 아니면 훈련 도메인 분할에 민감한가?
• RQ4 도메인 인식 동적 가중치는 BDD100K와 같은 다양한 실세계 벤치마크에서 얼마나 성능 향상에 기여하는가?

주요 결과

• DDN은 파라미터 수, FLOPs, 실제 지연 시간을 늘리지 않고도 BDD100K 객체 검출 벤치마크에서 정적 네트워크 대비 최대 2.6% 높은 AP50 성능을 달성한다.
• 평가 시 도메인 분할 전략이 훈련 전략과 다를 경우 성능이 크게 떨어진다(예: 39.6%에서 38.52%로 AP50 감소), 이는 컨트롤러가 도메인 분할 전략에 민감함을 시사한다.
• t-SNE 시각화 결과, 동일한 도메인에 属하는 이미지들이 가중치 인자 공간에서 뭉쳐져 있음을 확인하여, 컨트롤러가 의미 있는 도메인 특화 표현을 학습하고 있음을 입증한다.
• 가중치 인자 시각화 결과, 직관적으로 충돌하는 도메인들조차도 서로 다른 융합 계수를 받으며, 이는 모델이 비트레이스성 도메인 특화 적응을 학습할 수 있음을 보여준다.
• 도메인 분할 전략이 일치하지 않는 상황에서도 DDN은 단일 정적 네트워크(38.08% 대비 37.4% AP50)를 능가하는 성능을 보이며, 분포 이탈에 대한 강건성을 입증한다.
• 새로운 도메인 분할 전략에 대해 명시적으로 훈련하지 않은 경우 컨트롤러는 일반화에 실패함을 확인하여, 도메인 표현이 훈련 전략과 일치해야 함을 시사한다.