[논문 리뷰] NODIS: Neural Ordinary Differential Scene Understanding

Yuren Cong, Hanno Ackermann외 3명|arXiv (Cornell University)|2020. 01. 14.

Multimodal Machine Learning Applications참고 문헌 51인용 수 5

한 줄 요약

NODIS는 시나리오 그래프 생성을 신경미분방정식(Neural ODE)로 공식화하는 새로운 신경망 아키텍처를 제안한다. 이는 종단간 학습을 통해 객체 및 관계 분류 문제를 해결한다. 혼합정수선형계획문(MILP)을 ODE로 해석함으로써, 이미지별 할당 함수를 학습하며, 일반화 능력 향상과 직관적인 시간역동 해석이 가능한 상태최고성능(SOTA)을 달성한다. 시나리오 그래프 생성, 분류, 시각적 관계 탐지 벤치마크에서 성능 향상을 이룬다.

ABSTRACT

Semantic image understanding is a challenging topic in computer vision. It requires to detect all objects in an image, but also to identify all the relations between them. Detected objects, their labels and the discovered relations can be used to construct a scene graph which provides an abstract semantic interpretation of an image. In previous works, relations were identified by solving an assignment problem formulated as Mixed-Integer Linear Programs. In this work, we interpret that formulation as Ordinary Differential Equation (ODE). The proposed architecture performs scene graph inference by solving a neural variant of an ODE by end-to-end learning. It achieves state-of-the-art results on all three benchmark tasks: scene graph generation (SGGen), classification (SGCls) and visual relationship detection (PredCls) on Visual Genome benchmark.

연구 동기 및 목표

• 기존 (혼합)정수선형계획문(MILP)이 고정된 목표함수를 요구하고 종단간 학습이 불가능한 점을 해결하기 위해.
• MILP 기반 할당 문제를 학습 가능한 신경 ODE로 재구성함으로써 데이터 적응형, 미분 가능한 시나리오 그래프 추론을 가능하게 하기 위해.
• ODE의 시간 변수가 객체 및 관계 분류에 미치는 영향을 직관적으로 시각적으로 설명하기 위해.
• 시나리오 그래프 생성(SGGEN), 시나리오 그래프 분류(SGCLS), 시각적 관계 탐지(PREDCLS) 등 여러 벤치마크 작업에서 최고성능을 달성하기 위해.

제안 방법

• 이산적이고 다층적인 임베딩 네트워크를 대체하여, 임베딩 다양체 위에서 부드러운 궤적을 학습하는 연속적인 ODE 기반 모듈을 도입한다.
• 객체 및 관계 분류를 위한 할당 문제를 신경 ODE로 공식화함으로써, 해법 과정을 거쳐 역전파가 가능하도록 한다.
• 학습 가능한 벡터장( vector field )을 사용해 ODE 모듈을 종단간 학습하며, 이미지별로 목표함수를 자동으로 조정할 수 있도록 한다.
• ODE의 시간 변수는 분류되는 객체 및 관계의 수를 제어하는 파라미터로 해석되며, 시각화 결과는 시간이 지남에 따라 점진적으로 개선됨을 보여준다.
• 두 가지 변형을 사용한다: 객체 분류를 위한 O-ODE와 관계 예측을 위한 P-ODE이며, P-ODE는 모든 객체 쌍을 처리한다.
• 모델은 Visual Genome 벤치마크를 사용해 훈련하고, Recall@K 및 Re@50와 같은 표준 지표를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 신경 ODE는 시나리오 그래프 생성에서 이미지별 할당 문제를 효과적으로 학습할 수 있는가?
• RQ2 ODE의 시간 변수는 객체 및 관계 분류에 어떤 영향을 미치는가?
• RQ3 미분 가능하고 학습 가능한 ODE 기반 모듈은 종래의 이산적 MILP 솔버보다 종단간 시각 이해에서 더 우수한 성능을 낼 수 있는가?
• RQ4 ODE의 적분 시간이 모델 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ5 ODE 기반 아키텍처는 내부 역동성을 직관적이고 시각적으로 설명할 수 있는가?

주요 결과

• 모델은 시나리오 그래프 생성(SGGEN), 시나리오 그래프 분류(SGCLS), 시각적 관계 탐지(PREDCLS)의 세 가지 벤치마크 작업 전부에서 최고성능을 달성한다.
• SGCLS에서 기존 최고 성능 모델 대비 2%에서 3% 향상된 성능을 기록한다.
• ODE의 최적 적분 시간은 1.5로 확인되었으며, 이를 초과하면 외삽 오류로 인해 성능 저하가 발생한다.
• 적분 시간이 0.05에서 3.00으로 증가함에 따라 평균 기능 평가 횟수(NFE)는 8.0에서 26.2로 증가하여 점진적인 개선이 이루어짐을 나타낸다.
• P-ODE 레이어는 객체 쌍의 수가 많아 O-ODE 레이어보다 훨씬 느리지만, 둘 다 뚜렷한 성능 향상을 보였다.
• 시각화 결과는 시간 변수를 증가시킬수록 객체 및 관계 예측이 점차 더 정교해짐을 확인했으며, t=1.5를 초과하면 과적합 및 오분류가 발생함을 보여준다.