[논문 리뷰] RUN: Reversible Unfolding Network for Concealed Object Segmentation

Chunming He, Runshi Zhang외 8명|ArXiv.org|2025. 01. 30.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

RUN은 마스크와 RGB 도메인 모두에서 가역적인 전경-배경 모델링을 수행하는 심층 전개 네트워크를 도입하여 은닉 물체 분할을 개선하고, 다단계 SOFS/ROBE 프레임워크와 불확실한 영역에 초점을 맞추는 보조 재구성 경로를 갖는다.

ABSTRACT

Existing concealed object segmentation (COS) methods frequently utilize reversible strategies to address uncertain regions. However, these approaches are typically restricted to the mask domain, leaving the potential of the RGB domain underexplored. To address this, we propose the Reversible Unfolding Network (RUN), which applies reversible strategies across both mask and RGB domains through a theoretically grounded framework, enabling accurate segmentation. RUN first formulates a novel COS model by incorporating an extra residual sparsity constraint to minimize segmentation uncertainties. The iterative optimization steps of the proposed model are then unfolded into a multistage network, with each step corresponding to a stage. Each stage of RUN consists of two reversible modules: the Segmentation-Oriented Foreground Separation (SOFS) module and the Reconstruction-Oriented Background Extraction (ROBE) module. SOFS applies the reversible strategy at the mask level and introduces Reversible State Space to capture non-local information. ROBE extends this to the RGB domain, employing a reconstruction network to address conflicting foreground and background regions identified as distortion-prone areas, which arise from their separate estimation by independent modules. As the stages progress, RUN gradually facilitates reversible modeling of foreground and background in both the mask and RGB domains, directing the network's attention to uncertain regions and mitigating false-positive and false-negative results. Extensive experiments demonstrate the superior performance of RUN and highlight the potential of unfolding-based frameworks for COS and other high-level vision tasks. We will release the code and models.

연구 동기 및 목표

• COS를 전경/배경 분리에 존재하는 불확실성을 다루고 가역적 모델링을 마스크 도메인을 넘어서 RGB 공간으로 확장함으로써 동기를 부여한다.
• 잔여 희소성 제약을 통해 분할 불확실성을 최소화하는 이론적으로 근거 있는 COS 모델을 개발한다.
• 최적화를 가역 모듈을 통해 각 단계에서 전경과 배경을 다듬는 다단계 네트워크로 전개한다.
• RUN의 다수의 COS 작업에서의 효과를 시연하고 고수준 비전에서의 전개 기반 프레임워크의 가능성을 강조한다.

제안 방법

• COS를 잔여 희소성 제약을 포함하는 목표를 가진 전경-배경 분리 문제로 공식화하여 분할 불확실성을 줄인다.
• 반복적 최적화를 다단계 네트워크로 전개한다; 각 단계는 Segmentation-Oriented Foreground Separation(SOFS) 모듈과 Reconstruction-Oriented Background Extraction(ROBE) 모듈을 포함한다.
• SOFS는 마스크 도메인에서 Reversible State Space(RSS)를 이용해 비지역 정보를 사용하여 세그멘테이션 마스크를 정제한다.
• ROBE는 이미지를 재구성하고 배경을 정제하는 방식으로 RGB 도메인으로 확장하며, 전경/배경 추정이 충돌하는 왜곡 취약 영역을 식별한다.
• 인코더 유래 시맨틱 특징 E(C)와의 보조 가역 상태 공간(RSS) 기반 융합을 도입하여 분할을 향상한다.
• 가중 BCE와 IoU, 에지에 대한 Dice를 포함한 분할 항과 마스크 및 배경 재구성을 감독하는 재구성 항을 포함하는 결합 손실로 학습한다.

실험 결과

연구 질문

• RQ1 마스크와 RGB 도메인 모두에 걸쳐 적용될 때 가역적 모델링이 COS에 유익할 수 있는가?
• RQ2 모델 기반 최적화를 다단계 네트워크로 전개하는 것이 은닉 물체의 분할 정확도와 강건성을 향상시키는가?
• RQ3 재구성 주도 왜곡 인식을 통해 불확실한 영역에 모델의 초점을 명시적으로 두는 것이 어떤 영향을 미치는가?

주요 결과

• RUN은 위장된 물체 탐지(camouflaged object detection) 및 관련 고수준 비전 작업을 포함한 다수의 COS 작업에서 우수한 성능을 달성한다.
• 기존 방법과 통합되어 COS 성능을 향상시키는 플러그앤플레이 프레임워크를 제공한다.
• 진행식 단계는 마스크와 RGB 도메인에서 전경과 배경의 가역적 모델링을 가능하게 하여 불확실한 영역에 주의를 집중시키고 거짓 양성/거짓 음성을 감소시킨다.
• RSS 및 이중 VSS 모듈은 비지역 정보와 다중 스케일 정보를 효과적으로 포착하여 불확실한 경계를 정교화한다.
• 이 아키텍처는 COD 관련 벤치마크 및 관련 분할 작업에서 여러 기준선 대비 이점을 보여준다.