[논문 리뷰] Graph R-CNN for Scene Graph Generation

Jianwei Yang, Jiasen Lu외 3명|arXiv (Cornell University)|2018. 08. 01.

Multimodal Machine Learning Applications참고 문헌 34인용 수 10

한 줄 요약

이 논문은 관계 제안 네트워크(RePN)를 사용해 가능성이 낮은 객체 관계를 지능적으로 제거하고, 주의 메커니즘을 통한 그래프 컨볼루션 네트워크(aGCN)를 통해 시나리오 그래프 전역에서 맥락 정보를 전파하는 새로운 시나리오 그래프 생성 모델인 Graph R-CNN을 제안한다. 이 방법은 Visual Genome 데이터셋에서 Recall@50 기준 5.0의 절대적 성능 향상을 달성하며, 객체, 속성, 트리플릿 수준의 재현율을 고려하여 과도한 오차에 대한 페널티를 줄이는 새로운 통합 평가 지표인 SGGen+를 도입한다.

ABSTRACT

We propose a novel scene graph generation model called Graph R-CNN, that is both effective and efficient at detecting objects and their relations in images. Our model contains a Relation Proposal Network (RePN) that efficiently deals with the quadratic number of potential relations between objects in an image. We also propose an attentional Graph Convolutional Network (aGCN) that effectively captures contextual information between objects and relations. Finally, we introduce a new evaluation metric that is more holistic and realistic than existing metrics. We report state-of-the-art performance on scene graph generation as evaluated using both existing and our proposed metrics.

연구 동기 및 목표

• 모든 가능한 객체 쌍을 잠재적 관계로 고려하는 기존 시나리오 그래프 생성 방법의 비효율성과 정확도 저하 문제를 해결하기 위해, 이는 이차 복잡도를 유발한다.
• 무작위 또는 히ュ리스틱한 제거에 의존하는 대신, 실제 세계의 객체-관계 규칙성을 학습하여 유력한 관계를 우선순위로 정함으로써 현실적인 관계 정규화를 모델링한다.
• 그래프 컨볼루션에 주의 메커니즘을 도입하여 객체와 관계 간의 맥락 통합을 향상시킨다.
• 기존의 트리플릿 기반 평가 지표에 비해 더 현실적이고 통합적인 평가를 가능하게 하는 새로운 평가 지표 SGGen+를 제안한다. 이는 객체, 속성, 트리플릿 수준의 재현율을 모두 고려하여 미세한 검출 오차에 대한 과도한 페널티를 줄인다.

제안 방법

• 모델은 표준 객체 검출 파이프라인을 사용하여 초기 시나리오 그래프의 노드로 사용되는 국소화된 객체 영역을 추출한다.
• 관계 제안 네트워크(RePN)는 객체 쌍 간의 유사도 점수를 계산하여 가능성이 낮은 관계를 제거함으로써 그래프를 희박한 후보 구조로 축소한다.
• 주의 메커니즘을 통한 그래프 컨볼루션 네트워크(aGCN)는 제거된 그래프 전역에서 맥락 정보를 전파하며, 엣지에 대한 학습 가능한 주의 가중치를 사용하여 노드 및 엣지 표현을 업데이트한다.
• aGCN 모듈은 각 엣지에 대한 주의를 예측하여 정보 흐름의 동적 모odulation을 가능하게 하며, 노이즈가 많거나 신뢰할 수 없는 엣지에 대한 저항력을 향상시킨다.
• 객체 검출, 관계 분류, 트리플릿 예측를 통합한 다중 작업 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 새로운 평가 지표인 SGGen+는 단일 실체(객체, 동사어), 쌍 항목(객체-속성), 트리플릿(주어-동사어-목적어) 수준의 재현율을 계산하여 더 통합적인 평가를 제공한다.

실험 결과

연구 질문

• RQ1 학습된 구조적 제거 메커니즘(RePN)이 진정으로 유의미한 관계의 재현율을 유지하면서도 시나리오 그래프 생성의 계산 부담을 효과적으로 줄일 수 있는가?
• RQ2 주목적 기반 그래프 컨볼루션 네트워크(aGCN)가 시나리오 그래프 내의 고차원 맥락적 의존성을 모델링함으로써 관계 예측 성능을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 SGGen+ 지표가 기존의 트리플릿 기반 지표에 비해 더 현실적이고 견고한 시나리오 그래프 생성 성능 평가를 제공하는가?
• RQ4 Graph R-CNN의 개별 구성 요소인 RePN과 aGCN가 정확도 및 효율성 향상에 어떻게 기여하는가?
• RQ5 모델이 공존 빈도 통계에 의존하지 않고, 이미지에 특화된 맥락적 관계를 포착할 수 있는가, 즉 빈도 편향에 의존하지 않는가?

주요 결과

• Graph R-CNN는 기존 최고 성능 모델 대비 Visual Genome 데이터셋에서 Recall@50 기준 5.0의 절대적 성능 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• RePN 구성 요소는 평균적으로 객체 검출 mAP@0.5를 3.2% 포인트 향상시키며, '라켓'이나 '와이퍼'처럼 소형이면서 관계가 풍부한 객체에서 가장 뚜렷한 성능 향상을 보인다.
• aGCN 모듈을 추가함으로써 추론 실험에서 SGGen+ Recall@50가 35.3에서 35.9로, 10.8에서 11.4로 향상되어 맥락 통합의 효과성을 입증한다.
• aGCN 내 주의 메커니즘이 표준 GCN보다 성능을 더 향상시키며, 이는 동적 엣지 주의가 신뢰할 수 없는 정보 흐름을 걸러내는 데 핵심적임을 시사한다.
• Graph R-CNN는 기존 모델보다 더 효율적이다: 간소화된 그러나 효과적인 아키텍처 덕분에 추론 시 1.86배 빠르게 작동하며, MSDN 대비 3.27배 빠르다.
• 제안된 SGGen+ 지표는 모델이 표준 지표 외에도 더 통합적이고 현실적인 평가 환경에서 기존 방법을 능가함을 드러내며, 이는 모델의 견고성과 일반화 능력을 확인한다.